Stel je voor: je hebt een kleine, persoonlijke website. Misschien een blog over je hobby, een portfolio of een plekje waar je aantekeningen deelt voor vrienden.
▶Inhoudsopgave
Je wilt niet dat Jan en alleman je spullen vinden via Google. Je wilt gewoon privacy, of misschien test je nog even iets en wil je niet dat de hele wereld meekijkt. Het is jouw hoekje van het internet, en soms wil je de deur gewoon dicht houden voor zoekmachines.
Hoe zorg je er nu voor dat Google je site niet in zijn grote boek opneemt? Laten we dat eens helder uitleggen.
Waarom zou je Google weren?
Er zijn genoeg goede redenen om Google te blokkeren. Misschien bouw je een site en wil je niet dat mensen een halfbakken versie vinden voordat hij af is.
Of je deelt gevoelige informatie die echt alleen voor een select groepje mensen bestemd is. Soms is een site gewoon een experiment en wil je niet dat het eeuwig in de zoekresultaten blijft hangen. Het gaat erom dat jij de controle hebt over wat er met je informatie gebeurt. En die controle begint bij het weren van de indexeerders.
De krachtigste methode: robots.txt
De klassieker en de meest directe manier is het bestandje robots.txt. Dit is een simpel tekstbestand dat je in de hoofdmap van je website plaatst.
Het is als een briefje aan de zoekmachines: "Hey, hier mag je niet komen." Je opent een teksteditor, typt een paar regels en slaat het op als robots.txt. De inhoud is eenvoudig.
User-agent: * Disallow: /
Als je alle zoekmachines wilt weren, schrijf je: De asterisk is een wildcard en betekent "voor iedereen".
User-agent: Googlebot Disallow: /
"Disallow: /" betekent dat ze niets mogen bekijken, vanaf de hoofdmap tot in alle submappen. Als je alleen Google wilt blokkeren, maar andere crawlers wel wilt toelaten, verander je het in: Let op: dit is een vriendelijk verzoek.
De meeste betrouwbare zoekmachines, inclusief Google, respecteren dit. Het is geen waterdichte beveiliging, maar het is wel de eerste en belangrijkste stap. Het voorkomt dat Google je site standaard gaat scannen.
Meta tags: instructies direct in je pagina
Als je niet wilt rommelen met serverbestanden of als je meer controle wilt per pagina, zijn meta tags je vriend. Dit zijn stukjes code die je in de <head>-sectie van je HTML-pagina plakt.
Ze geven instructies aan de browser en aan de zoekmachine direct op de pagina zelf.
<meta name="robots" content="noindex, nofollow">
De belangrijkste tag hier is: Deze ene regel doet twee dingen: Je kunt dit specifieker maken.
- Noindex: Vertelt Google dat ze deze pagina niet mogen opnemen in hun index. Geen zoekresultaten voor deze pagina.
- Nofollow: Vertelt Google dat ze de links op deze pagina niet moeten volgen. Dit is vooral handig als je niet wilt dat Google via jouw site andere sites gaat ontdekken.
Wil je alleen Google weren, maar andere zoekmachines wel toelaten? Gebruik dan: Dit is handig als je je site bijvoorbeeld wilt laten indexeren door Bing of DuckDuckGo, maar niet door Google. Voor een persoonlijke site die je helemaal privé wilt houden, is de combinatie noindex, nofollow vaak de veiligste keuze.
<meta name="googlebot" content="noindex">
Wanneer kies je wat?
Gebruik robots.txt voor jouw privacy als je je hele site wilt afschermen. Het is een makkelijke, centrale plek om regels te stellen.
Gebruik meta tags als je per pagina wilt bepalen wat er gebeurt. Bijvoorbeeld: je portfolio-homepage mag best gezien worden, maar de testpagina's en privédagboeken niet. Je kunt beide methoden ook combineren. Dat is vaak de beste aanpak: robots.txt als globale instructie en meta tags voor fijnmazige controle op elke pagina.
Wat als je site al is geïndexeerd?
Als je site al in Google staat en je wilt eruit, hoef je niet te wanhopen. Je kunt Google vragen om je pagina's te verwijderen en eventueel jouw gegevens uit de Wayback Machine wissen.
Gebruik hiervoor de Google Search Console. Dit is een gratis tool van Google zelf. Je meldt je site aan, verifieert dat jij de eigenaar bent en kunt dan een verzoek indienen om pagina's uit de index te laten verwijderen.
Het is even werk, maar het werkt effectief. Vergeet niet om daarna de bovenstaande blokkade-methode te activeren, zodat Google niet weer opnieuw begint.
De technische kant: server-side blokkades
Voor degenen die wat technischer zijn aangelegd, is er nog een andere laag. Je kunt via je server configuratiebestanden aanpassen.
Als je bijvoorbeeld een Apache-server gebruikt, kun je in het .htaccess-bestand regels toevoegen.
<IfModule mod_headers.c> Header set X-Robots-Tag "noindex, nofollow" </IfModule>
Je kunt dan een HTTP-header meesturen die aangeeft dat een pagina niet geïndexeerd mag worden. Dit ziet er zo uit: Of je gebruikt een 410 Gone status als je een pagina definitief wilt laten verdwijnen.
Dit is sterker dan alleen een noindex-tag, maar het is ook drastischer: de pagina is dan echt niet meer beschikbaar. Voor de meeste persoonlijke sites is de meta tag of robots.txt voldoende. Ga niet te technisch tenzij je weet wat je doet; een foutje kan je site onbereikbaar maken.
Privacy en ethiek: wat moet je weten?
Even een reality check. Blokkeren via robots.txt en meta tags is geen hack-proof beveiliging.
Een kwaadwillende kan nog steeds je site bezoeken als ze het adres kennen. Het is vooral een manier om zoekmachines buiten de deur te houden. Als je echt gevoelige informatie deelt, zoals persoonlijke data of vertrouwelijke documenten, is dit niet genoeg.
Gebruik dan sterke wachtwoorden, versleutel je data en overweeg een gesloten omgeving of een wachtwoordbeveiligde sectie op je site. Denk ook aan de ethische kant.
Je mag Google weren zoveel je wilt, maar als je content schadelijk of illegaal is, zijn er andere manieren om het te vinden.
Blokkeren is voor privacy en controle, niet voor het verbergen van dingen die niet mogen.
Stappenplan: zo zet je het op
Laten we het concreet maken. Volg deze stappen om je persoonlijke site te beschermen:
- Maak een robots.txt-bestand: Open een teksteditor, typ de regels voor Googlebot, en sla het op als
robots.txt. Upload het naar de hoofdmap van je site via FTP of je hostingdashboard. - Voeg meta tags toe: Open je HTML-pagina's en plak in de
<head>-sectie de regel<meta name="robots" content="noindex, nofollow">. Doe dit voor elke pagina die je wilt beschermen. - Test het: Gebruik de Google Search Console om te controleren of Google je instructies oppakt. Je kunt ook simpelweg zoeken naar je sitenaam in Google en kijken of er resultaten verschijnen.
- Verwijder bestaande indexen: Als je site al in Google staat, dien een verwijderingsverzoek in via Search Console. Het duurt even, maar dan is het weg.
- Houd het bij: Als je nieuwe pagina's toevoegt, vergeet dan niet de meta tags toe te voegen. Robots.txt geldt voor de hele site, maar pagina-specifieke tags moet je zelf bijhouden.
Tips voor beginners
Als je net begint, hoef je niet te paniekeren. Begin met de robots.txt en een meta tag op je belangrijkste pagina's.
Gebruik tools zoals de Google Search Console om te zien wat er gebeurt. Het is gratis en helpt je enorm.
En onthoud: het is jouw site. Jij bepaalt wie mag komen kijken. Als je een websitebouwer zoals WordPress of Wix gebruikt, zijn er vaak plugins of instellingen die dit automatisch regelen. Zoek naar "SEO-instellingen" of "privacy" in je dashboard. Deze tools maken het makkelijker om robots.txt en meta tags te beheren zonder handmatig te coderen.
Conclusie
Google weren van je persoonlijke site is makkelijker dan je denkt. Met een simpele robots.txt en wat meta tags heb je al veel controle.
Het is niet waterdicht, maar het beschermt je privacy en houdt je site uit de openbaarheid. Begin klein, test het en pas het toe wat bij jouw behoeften past. Zo houd je het internet leuk en veilig voor jezelf. En wie weet, misschien ontdek je wel dat je helemaal niet zo'n fan bent van de spotlight.