Tag: Google

Google en robots.txt: wat je moet weten

Als het verkeer naar je website zonder aanwijsbare reden opeens wegzakt is het handig te zoeken in Google naar de url van je website. Google en robots.txt is iets wat je kennelijk goed in de gaten moet houden.

Het overkwam mij bij een nieuwswebsite die ik beheer. Het bezoek via Google leek vrij plotseling totaal weg te blijven zonder aanwijsbare reden. De robots.txt bleek de oorzaak.

website indexeren google robots.txt

Tot mijn grote verbazing zag ik de melding op Google dat de robots.txt van de website google zou blokkeren. Wat niet het geval was. Er werden een aantal andere agressieve bots geblokkeerd volgens regels die al jaren zo werken. Kennelijk struikelt Google er sinds kort over.

Als je doorklikt op “Informatie waarom dit gebeurt” krijg je te zien:

google robots.txt

De oplossing die Google biedt (de robots.txt-tester in de search console) lijkt, althans op dit moment, niet te werken. Als je een domeinnaam uit de pull-down kiest gebeurt er helemaal niets.

Tijd om de robots.txt te inspecteren en (handmatig) aan te passen. Voor deze website bijvoorbeeld is de robots.txt als volgt en deze werkt correct.

User-agent: *
Allow: /wp/wp-admin/admin-ajax.php
Disallow: /wp/wp-admin/
Disallow: /wp/wp-content/uploads/wpo-plugins-tables-list.json

Sitemap: https://gratiswordpressboek.nl/sitemap.xml
Sitemap: https://gratiswordpressboek.nl/sitemap.rss

Google en robots.txt

Het vervelende is dat de verkeerde robots.txt bij de website in kwestie, zuidhorn.nu, was aangemaakt op basis van informatie zoals die nog overal is te vinden en volgens het format dat Google zelf geeft. Daarnaast is de site een geverifieerde Google site.

Google echter waarschuwt je nergens voor. Zij kunnen zonder dat je het weet de spelregels aanpassen want het is hún spelletje. Je  zorgvuldig opgebouwde indexatie van je website, en de bijbehorende ranking, is zonder dat je het weet regelricht de bittenbak in. Door slechts een kleine wijziging, kennelijk, in hoe Google de robots.txt interpreteert.

Hoe los je dit op?

Fix je robots.txt en ga vervolgens naar de Google Search Console > URL Inspectie > Opnieuw aanvragen.

Je website wordt daarna opnieuw geïndexeerd door Google. Dit kan een tijd(je) duren.

Check regelmatig even in Google of je eigen site nog goed te vinden is… en nog een tip: houd de robots.txt zo simpel mogelijk.

 

Zoekmachine Optimalisatie SEO Google

Verbeter je SEO: Website verificatie van Google

Je SEO (zoekmachine optimalisatie) verbeteren in Google is belangrijk. Eén van de methoden daarvoor is website verificatie van Google. Met WordPress is de website verificatie van Google niet moeilijk en er zijn verschillende methoden om het te doen.

Website verificatie is niet alleen goed voor je SEO het is noodzakelijk voordat Google je toegang geeft tot de Search Console, analytics laat gebruiken of je sitemap (die wordt aangemaakt door bijvoorbeeld een SEO-plugin, lees hiervoor het gratis eBoek Website Maken met WordPress) wil laten lezen. Maak je gebruik van website verificatie van Google, dan heb je dus meteen een dikke streep voor op je concurrentie!

Niet alleen voor WordPress gebruikers!

Website verificatie van Google is niet alleen voor gebruikers van WordPress van belang, maar voor iederéén die een website heeft. Immers, zoals gezegd, anders kun je geen gebruik maken van Google Analytics, search console e.a. diensten van Google.

Website verificatie van Google instellen

Google heeft een uitgebreide toelichting op de website staan. Je begint met de SearchConsole en voegt daar je domeinnaam toe:

Google Search Console

Een relatief eenvoudige methode is het uploaden van een HTML-bestandje, naar je hosting account, dat door Google gelezen kan worden. Daarvoor moet je via de file-manager of via FTP een bestandje plaatsen dat je van Google krijgt.

Na het toevoegen van je domein bij Google krijg je twee opties voor de verificatie. Bij voorkeur kies je het scherm voor verificatie op domeinbasis inclusief subdomeinen.

Google Search Console sleutel

Laat dit scherm openstaan en ga in een nieuw venster verder. Je moet hier later namelijk nog weer naar terug.

Domeineigendom verifiëren via HTML

Google gaat er vanuit dat je toegang hebt tot een DNS-record en de website verificatie van Google op die manier kunt uivoeren. Kun je dat niet, kies dan na toevoegen van de domeinnaam voor “een property met URL-voorvoegsel proberen”. Volg de instructies die Google je geeft nauwgezet op.

Het is ook mogelijk een HTML-tag aan je thema toe te voegen, echter dit werkt alleen als je een zogeheten ‘child theme’ gebruikt. Een regulier thema wordt namelijk bij een update overschreven. En dan ben je de wijzigingen weer kwijt. Los daarvan is het niet aan te raden het op deze manier te doen. Want niet alleen bij een update maar ook als je later een ander thema installeert, of als je zelfs helemaal overgaat naar een ander CMS of HTML-based gaat werken moet je weer opnieuw verifiëren.

Domeineigendom verifiëren via DNS-record

De beste en vaak ook eenvoudigste methode is dan ook via het DNS. Althans, als je webhostingprovider een panel als cPanel of DirectAdmin gebruikt. Voor het bijgaande voorbeeld gaan we uit van DirectAdmin omdat dit de door Brinkman.IT gebruikte panel is (waar deze website gehost wordt).

Log in op DirectAdmin -> klik op: DNS Settings.  Voeg daar een record toe als onderstaand, uiteraard met de code die je van Google hebt gekregen:

Google Domein Verificatie DNS instellingen DirectAdmin

Klik na het invullen van de velden op de [Add] button. Geef je systeem even de tijd de wijziging te verwerken. Klik daarna bij Google op de [Verifiëren] button. Je krijgt van Google een melding dat de verificatie geslaagd is.

Google Search Console

Vanaf nu is je domeinnaam bij Google bekend als een geverifieerd domein waarvan jij de eigenaar bent. Na enige tijd kun je in de search console dan interessante data vinden over het aantal zoekopdrachten bij Google die tot klikken naar je site hebben geleid, eventuele fouten, etcetera.

Google Search Console (resultaten)

Google Search Console (prestaties)

(voorbeelden van prestaties van een website in Google Search Console)

Verificatie via Plugins

Als je binnen je WordPress website een plugin gebruikt voor de SEO (aanbevolen!), is er een grote kans dat je plugin een optie heeft om je website te verifiëren bij Google.

Plugins die hiervoor ondersteuning bieden zijn onder andere YOAST, SEOPress en AIOSEO (All in One SEO) andere. In AIOSEO ga je bijvoorbeeld naar All in One SEO in het Dashboard -> Algemene instellingen -> Webmaster Gereedschappen.

Google Verificatie aioseo webmaster tools

Zoals je ziet in het scherm ondersteunt All in One Seo niet alleen Google’s verificatie maar ook Bing en andere zoekmachines. Klik op het logo van Google en plak de sleutel die je van Google (zie eerder) hebt gekregen.

Voor- en nadelen van plugins

Het grote voordeel is natuurlijk dat het ontzettend makkelijk is om op deze manier de verificatie voor je site toe te voegen. Maar er kleven ook nadelen aan: als je overstapt naar een andere plugin voor je SEO dan moet je de verificatie opnieuw instellen. Daarnaast werkt de verificatie niet voor inhoud (bijvoorbeeld een shop onder een eigen subdomein) buiten je website.