Categorie: Configuratie

Google en robots.txt: wat je moet weten

Als het verkeer naar je website zonder aanwijsbare reden opeens wegzakt is het handig te zoeken in Google naar de url van je website. Google en robots.txt is iets wat je kennelijk goed in de gaten moet houden.

Het overkwam mij bij een nieuwswebsite die ik beheer. Het bezoek via Google leek vrij plotseling totaal weg te blijven zonder aanwijsbare reden. De robots.txt bleek de oorzaak.

website indexeren google robots.txt

Tot mijn grote verbazing zag ik de melding op Google dat de robots.txt van de website google zou blokkeren. Wat niet het geval was. Er werden een aantal andere agressieve bots geblokkeerd volgens regels die al jaren zo werken. Kennelijk struikelt Google er sinds kort over.

Als je doorklikt op “Informatie waarom dit gebeurt” krijg je te zien:

google robots.txt

De oplossing die Google biedt (de robots.txt-tester in de search console) lijkt, althans op dit moment, niet te werken. Als je een domeinnaam uit de pull-down kiest gebeurt er helemaal niets.

Tijd om de robots.txt te inspecteren en (handmatig) aan te passen. Voor deze website bijvoorbeeld is de robots.txt als volgt en deze werkt correct.

User-agent: *
Allow: /wp/wp-admin/admin-ajax.php
Disallow: /wp/wp-admin/
Disallow: /wp/wp-content/uploads/wpo-plugins-tables-list.json

Sitemap: https://gratiswordpressboek.nl/sitemap.xml
Sitemap: https://gratiswordpressboek.nl/sitemap.rss

Google en robots.txt

Het vervelende is dat de verkeerde robots.txt bij de website in kwestie, zuidhorn.nu, was aangemaakt op basis van informatie zoals die nog overal is te vinden en volgens het format dat Google zelf geeft. Daarnaast is de site een geverifieerde Google site.

Google echter waarschuwt je nergens voor. Zij kunnen zonder dat je het weet de spelregels aanpassen want het is hún spelletje. Je  zorgvuldig opgebouwde indexatie van je website, en de bijbehorende ranking, is zonder dat je het weet regelricht de bittenbak in. Door slechts een kleine wijziging, kennelijk, in hoe Google de robots.txt interpreteert.

Hoe los je dit op?

Fix je robots.txt en ga vervolgens naar de Google Search Console > URL Inspectie > Opnieuw aanvragen.

Je website wordt daarna opnieuw geïndexeerd door Google. Dit kan een tijd(je) duren.

Check regelmatig even in Google of je eigen site nog goed te vinden is… en nog een tip: houd de robots.txt zo simpel mogelijk.

 

WordPress Tips en Trucs

WordPress website traag? Performance probleem oplossen

Is je WordPress website traag? Of worden berichten die je klaarzet niet gepubliceerd? Vaak wordt de oplossing voor perfomance problemen gezocht in bijvoorbeeld caching van je website (zie het gratis boek), verwijderen oude of ongebruikte plugins of andere aanpassingen in de website zelf waardoor je snelheidswinst kunt boeken. Een prima idee natuurlijk. Maar er is meer finetuning beschikbaar voor je WordPress website!

Heb je een drukbezochte website dan kunnen deze oplossingen onvoldoende zijn. Of als het hostingplatform van je aanbieder simpelweg onvoldoende is.

Een goede webhost zal natuurlijk zorgen voor voldoende performance maar vooral bij de spotgoedkope webhosters mankeert het nogal eens aan afdoende hardware of er worden gewoon véél te veel websites op één server geplaatst. Kiezen voor goede webhosting is de eerste stap voor een goede performance van je WordPress website.

Het WP-CRON bestand

Een 2e probleem is het wp-cron bestand in WordPress. Elke keer als iemand je website bezoekt (dus ook indexering door zoekmachines e.d.) wordt dit scriptje gestart. Het zorgt er bijvoorbeeld voor dat berichten die klaar staan voor publicatie gecheckt worden als in:

“Moet dit bericht al gepubliceerd worden?”

– ja: publiceren.

– nee: verder gaan.

Daarnaast voegen complexe plugins ook een aantal ‘onzichtbare’ functies toe aan WordPress. Dit zijn functies waardoor het systeem goed kan blijven werken, of zoals gezegd acties uitvoert.

WordPress website traag

Zeker als je website heel druk bezocht wordt zorgt dit voor een hoop extra ‘load’ op de webserver waar je site op staat. Onzinnig load vaak en het maakt je website traag.

Dat kan beter. De meeste hostingbedrijven hebben een ‘control panel’ voor je beschikbaar zoals cPanel of DirectAdmin. Daarin kun je deze cron-taken automatiseren met vaste intervals. Dat zorg voor veel minder load op de webserver of het VPS waarop je gehost wordt. En maakt jouw website veel sneller!

In het bestandje wp-config.php in je WordPress hoofdmap kun je een kleine aanpassing doen. Tussen de regels

/* Add any custom values between this line and the "stop editing" line. */

/* That’s all, stop editing! Happy blogging. */

Voeg je deze regel toe en zet daarmee wp-cron.php “uit”. Als in, dat WordPress het niet meer opstart.

define('DISABLE_WP_CRON', true);

Dan komt het er dus zo uit te zien:

/* Add any custom values between this line and the "stop editing" line. */
define('DISABLE_WP_CRON', true);
/* That’s all, stop editing! Happy blogging. */

Sla het bestand nu op. Maak vervolgens in je control panel een cron-job aan. Onderstaand een voorbeeld. Toelichting onder de afbeelding.

WordPress website traag wp-cron

(Voorbeeld DirectAdmin cronjob instellen)

1 – Bij minuut vul ik hier in: */5. Dat betekent: elke 5 minuten dit proces starten. Je kunt het ook half uur, elk uur of een aantal malen per dag laten uitvoeren.

2 – Bij Command vul je het commando in. In dit geval (voorbeeld!!)

/usr/bin/wget -O /dev/null https://gratiswordpressboek.nl/wp-cron.php

3 – aangezien ik niet elke 5 minuten een mail wil ontvangen dat het succesvol gedraaid heeft klik op de button “Prevent email” – dit voegt een stukje toe aan de opdracht die voorkomt dat er elke keer mail verzonden wordt.

4 – vervolgens klik je op [Add] en wordt de regel opgeslagen als opdracht.

WordPress cronjob DirectAdmin

Publicatieproblemen website oplossen

Soms kun je merken dat als je een bericht klaar zet om bijvoorbeeld op een bepaalde tijd te laten publiceren (afbeelding hier naast) dit niet gebeurt. De status in het dashboard is dan “mislukt”.

De oorzaak is… wp-cron is niet geactiveerd omdat er geen bezoekers op je site zijn geweest. Daarom is het bericht niet gepubliceerd. Zeker op websites die niet zo druk bezocht worden een lastig fenomeen. Al helemaal als je bijvoorbeeld elke dag een nieuw bericht op een vaste tijd wilt publiceren.

Ook dit is met bovenstaande oplosbaar omdat de cron-taak een “bezoeker” simuleert die de wp-cron.php afstart.

Een cronjob die in dit voorbeeld elk half uur zou draaien zou pas om 18:00 tot publicatie leiden. Tussen de 5 en 10 minuten volstaat voor de meeste websites zo is onze ervaring.

Voorbeelden Cron-jobs

Er zijn meerdere mogelijkheden qua instellingen voor cron-jobs. Soms schrijven bepaalde programma’s ook een bepaalde manier voor. In het DirectAdmin panel staan een paar voorbeelden maar soms werkt het nét allemaal even anders, .. kom je er niet uit? “Google is your friend” maar natuurlijk moet je webhost ook (kunnen) helpen.

We kunnen hier dus helaas niet een oplossing of correct commando geven die bij elk hostingbedrijf, laat staan voor elke plugin, werkt.

Zoekmachine Optimalisatie SEO Google

Website Performance verbeteren met Expire Headers

Je website moet snel zijn. Supersnel. Dit kun je verbeteren met een eenvoudige aanpassing, de Website Performance verbeteren met Expire Headers kost weinig tijd en is voor iedereen makkelijk te realiseren.

De performance verbeteren met expire headers is een manier om te zorgen dat je website een stuk sneller wordt. Dit heeft niet alleen een belangrijk voordeel voor de gebruikservaring van de bezoekers van een website maar ook voor de indexering van je website (SEO) in Google. Want de Expire Headers wordt als weging voor je Google Ranking meegenomen.

Wat zijn Expire Headers?

Expires headers vertellen de browser of bijvoorbeeld een afbeelding of ander onderdeel van een pagina op een website moet worden aangevraagd bij de bron, de server waar de website op staat, of dat deze kan worden opgehaald uit de cache van de browser: de lokale computer van de bezoeker.

Wanneer u een Expire Header instelt voor een bron, zoals alle jpeg- en png-afbeeldingen, slaat de browser die bronnen op in zijn cache. De volgende keer dat de bezoeker terugkomt op de pagina, wordt deze sneller geladen, omdat de browser die afbeeldingen al beschikbaar heeft.

Het verbeteren van de laadsnelheid van een site verbetert uiteindelijk de functionaliteit en heeft vele voordelen, waaronder lagere bouncepercentages (dat wil zeggen: men wacht niet tot de website geladen is maar haakt voortijdig af), hogere gemiddelde tijd die op de site wordt doorgebracht, enz. (omdat niemand van trage websites houdt!).

Vooral voor mobiele apparaten kan dit een groot verschil maken. Aangezien 60-70% van de internetgebruikers dit doet via hun mobiele apparaat is het van groot belang daar altijd rekening mee te houden.

Als uw site sneller is dan die van uw concurrenten, ziet u mogelijk ook een betere positie in de zoekresultaten van Google. Een ander voordeel is dat een betere sitesnelheid ook de kosten kan verlagen van het hosten van een site die veel bandbreedte op uw server opslokt.

Toepassen Expire Headers

Expire Headers kun je toevoegen aan het .htaccess bestand. Zoals uit onderstaande testen blijkt krijg je daarmee een betere score bij Google en PingDom.

Open met de filemanager in DirectAdmin, een ander control panel of via je FTP-programma het .htaccess bestand of maak deze aan als deze er nog niet is. Kopieer en plak onderstaande in de .htaccess. Pas het eventueel aan naar eigen voorkeuren.

Bij WordPress plakken wij het altijd na de beveiligingsinstallingen en voor de WordPress instellingen.

Dit werkt niet alleen goed voor WordPress uiteraard maar ook voor andere websites.

## EXPIRES HEADER CACHING ##
<IfModule mod_expires.c>
ExpiresActive On
ExpiresByType image/jpg "access 1 year"
ExpiresByType image/jpeg "access 1 year"
ExpiresByType image/gif "access 1 year"
ExpiresByType image/png "access 1 year"
ExpiresByType image/svg "access 1 year"
ExpiresByType text/css "access 1 month"
ExpiresByType application/pdf "access 1 month"
ExpiresByType application/javascript "access 1 month"
ExpiresByType application/x-javascript "access 1 month"
ExpiresByType application/x-shockwave-flash "access 1 month"
ExpiresByType image/x-icon "access 1 year"
ExpiresDefault "access 3 days"
</IfModule>
## EXPIRES HEADER CACHING ##

Expire Headers Testen

Onderstaand een voorbeeld van een WordPress website zónder expire headers en ná toevoegen van de expire headers.

Voor Expire headers

De testwebsite is een (nieuwe) ewbsite, gemaakt met WordPress en gehost bij Brinkman.IT. De website heeft een geoptimaliseerde lay-out met een basis-thema waar vervolgens met Elementor de pagina is opgebouwd. Een zo efficiënt, en volledig op snelheid gericht, mogelijke website.

Test PingDom / Google Pagespeed

Website performance verbeteren Expire Headers (voor)

Na expire headers

De laadtijd kan altijd een paar millisecondens verschillen, wat in dit geval belangrijk is, is de ‘performance grade’, die springt van een score van 87 naar 96. Een aanzienlijk verschil van ruim 10%.

Website performance verbeteren Expire Headers (na)

Expire headers en SEO

Ook voor de SEO score maakt het verschil. Hoewel de test geen groot verschil lijkt te tonen was vooral bij de Pagespeed-test bij Google een groot verschil te zien.

SEO score Expire HeadersSEO score Expire Headers

Natuurlijk is het toepassen van Expire Headers geen ‘silver bullet’ om je SEO opeens een stuk te verbeteren of je laadsnelheid. Als een website vele MB’s inlaadt en slecht ontworpen is zal dit weinig verschil maken. Het is een combinatie van factoren.

Website SEO testen kan via heel veel websites. Bovenstaande is getest via https://www.websiteseocheck.nl/

 

 

Zoekmachine Optimalisatie SEO Google

Verbeter je SEO: Website verificatie van Google

Je SEO (zoekmachine optimalisatie) verbeteren in Google is belangrijk. Eén van de methoden daarvoor is website verificatie van Google. Met WordPress is de website verificatie van Google niet moeilijk en er zijn verschillende methoden om het te doen.

Website verificatie is niet alleen goed voor je SEO het is noodzakelijk voordat Google je toegang geeft tot de Search Console, analytics laat gebruiken of je sitemap (die wordt aangemaakt door bijvoorbeeld een SEO-plugin, lees hiervoor het gratis eBoek Website Maken met WordPress) wil laten lezen. Maak je gebruik van website verificatie van Google, dan heb je dus meteen een dikke streep voor op je concurrentie!

Niet alleen voor WordPress gebruikers!

Website verificatie van Google is niet alleen voor gebruikers van WordPress van belang, maar voor iederéén die een website heeft. Immers, zoals gezegd, anders kun je geen gebruik maken van Google Analytics, search console e.a. diensten van Google.

Website verificatie van Google instellen

Google heeft een uitgebreide toelichting op de website staan. Je begint met de SearchConsole en voegt daar je domeinnaam toe:

Google Search Console

Een relatief eenvoudige methode is het uploaden van een HTML-bestandje, naar je hosting account, dat door Google gelezen kan worden. Daarvoor moet je via de file-manager of via FTP een bestandje plaatsen dat je van Google krijgt.

Na het toevoegen van je domein bij Google krijg je twee opties voor de verificatie. Bij voorkeur kies je het scherm voor verificatie op domeinbasis inclusief subdomeinen.

Google Search Console sleutel

Laat dit scherm openstaan en ga in een nieuw venster verder. Je moet hier later namelijk nog weer naar terug.

Domeineigendom verifiëren via HTML

Google gaat er vanuit dat je toegang hebt tot een DNS-record en de website verificatie van Google op die manier kunt uivoeren. Kun je dat niet, kies dan na toevoegen van de domeinnaam voor “een property met URL-voorvoegsel proberen”. Volg de instructies die Google je geeft nauwgezet op.

Het is ook mogelijk een HTML-tag aan je thema toe te voegen, echter dit werkt alleen als je een zogeheten ‘child theme’ gebruikt. Een regulier thema wordt namelijk bij een update overschreven. En dan ben je de wijzigingen weer kwijt. Los daarvan is het niet aan te raden het op deze manier te doen. Want niet alleen bij een update maar ook als je later een ander thema installeert, of als je zelfs helemaal overgaat naar een ander CMS of HTML-based gaat werken moet je weer opnieuw verifiëren.

Domeineigendom verifiëren via DNS-record

De beste en vaak ook eenvoudigste methode is dan ook via het DNS. Althans, als je webhostingprovider een panel als cPanel of DirectAdmin gebruikt. Voor het bijgaande voorbeeld gaan we uit van DirectAdmin omdat dit de door Brinkman.IT gebruikte panel is (waar deze website gehost wordt).

Log in op DirectAdmin -> klik op: DNS Settings.  Voeg daar een record toe als onderstaand, uiteraard met de code die je van Google hebt gekregen:

Google Domein Verificatie DNS instellingen DirectAdmin

Klik na het invullen van de velden op de [Add] button. Geef je systeem even de tijd de wijziging te verwerken. Klik daarna bij Google op de [Verifiëren] button. Je krijgt van Google een melding dat de verificatie geslaagd is.

Google Search Console

Vanaf nu is je domeinnaam bij Google bekend als een geverifieerd domein waarvan jij de eigenaar bent. Na enige tijd kun je in de search console dan interessante data vinden over het aantal zoekopdrachten bij Google die tot klikken naar je site hebben geleid, eventuele fouten, etcetera.

Google Search Console (resultaten)

Google Search Console (prestaties)

(voorbeelden van prestaties van een website in Google Search Console)

Verificatie via Plugins

Als je binnen je WordPress website een plugin gebruikt voor de SEO (aanbevolen!), is er een grote kans dat je plugin een optie heeft om je website te verifiëren bij Google.

Plugins die hiervoor ondersteuning bieden zijn onder andere YOAST, SEOPress en AIOSEO (All in One SEO) andere. In AIOSEO ga je bijvoorbeeld naar All in One SEO in het Dashboard -> Algemene instellingen -> Webmaster Gereedschappen.

Google Verificatie aioseo webmaster tools

Zoals je ziet in het scherm ondersteunt All in One Seo niet alleen Google’s verificatie maar ook Bing en andere zoekmachines. Klik op het logo van Google en plak de sleutel die je van Google (zie eerder) hebt gekregen.

Voor- en nadelen van plugins

Het grote voordeel is natuurlijk dat het ontzettend makkelijk is om op deze manier de verificatie voor je site toe te voegen. Maar er kleven ook nadelen aan: als je overstapt naar een andere plugin voor je SEO dan moet je de verificatie opnieuw instellen. Daarnaast werkt de verificatie niet voor inhoud (bijvoorbeeld een shop onder een eigen subdomein) buiten je website.

WordPress Tips en Trucs

WordPress in een andere map installeren

WordPress in een andere map installeren dan de standaard folder kan voordelen hebben. Onder andere als u met meerdere versies van uw website werkt zoals een Test- of Staging-versie en een productieversie (de website die voor de bezoekers live staat).

In een testversie kunt u bijvoorbeeld nieuwe Thema’s uitproberen of plugins. Werkt het goed? Dan kan het ook in de voor bezoekers zichtbare site worden toegepast. Gaat het fout? Niet getreurd, niemand die het ziet!

Wanneer bij installatie gekozen is voor WordPress in een andere map, bijvoorbeeld uwdomeinnaam.nl/wp dan zou het erg lelijk staan als de bezoekers van uw website dat adres moeten intikken in de browser. Gelukkig is dat met WordPress makkelijk te regelen.

In onderstaande voorbeeld wordt uitgegaan van het gebruik van DirectAdmin maar het kan natuurlijk ook via een FTP-programma of andere webpanels zoals cPanel.

Log in op uw controlpanel en ga naar de bestanden (files)

wordpress in subfolder 01

 

Kies de map public_html (of soms ook iets als ‘www’ of ‘htdocs’). Daarin bevindt zich de inhoud van uw website, in dit geval uw WordPress software

 

wordpress in subfolder 02

Navigeer vervolgens naar de submap waar u WordPress hebt geïnstalleerd (in dit geval de map ‘wp’)

wordpress in subfolder 03

Daar vindt u het bestandje ‘index.php’ deze moet gekopieerd worden naar de map public_html c.q. de hoofdmap van uw website. Zodra deze daar geplaatst is gaan we deze inhoudelijk bewerken. Gebruikt u een FTP programma, download dan het bestandje index.php, bewerk het op uw computer met Kladblok of Notepad++ of een soortgelijk progamma (dus niet met een tekstverwerker zoals Word of een ander Office-achtig programma) en upload het naar de ‘public_html’.

WordPress index.php

(kopieren naar clipboard in DirectAdmin en plakken in de hoofdmap)

Bewerken WordPress index.php

(klik op edit om te bewerken)

WordPress index.php bewerken voor submap

In het index.php bestandje dat u gekopieerd hebt past u nu het bestaande pad aan.

Wat het index.php bestandje namelijk doet is vertellen aan de server waar het bestandje /wp-blog-header.php gevonden kan worden en aangezien bij installatie van WordPress voor een submap is gekozen moet dit aan het (relatieve) pad toegevoegd worden. Zie bovenstaande voorbeeld. Zo wordt WordPress vanuit de submap geladen.

WordPress in een andere map instellen

Sla hierna het bestandje op en log in op uw WordPress dashboard voor de 2e stap: het aanpassen van de instellingen in WordPress zelf. Want WordPress moet natuurlijk van deze wijziging op de hoogte gesteld worden.

wordpress in subfolder 07

Ga naar Instellingen -> Algemeen. Pas daar het veld voor het WordPress adres aan. Sla de wijzigingen op en ga daarna naar de Instellingen -> Permalinks. Kies daar voor opslaan. Deze laatste stap is in principe optioneel, maar zekerheid voor alles!

Uw website staat nu geïnstalleerd in een aparte map, maar voor de bezoekers onder het hoofddomein zelf.