| Toegankelijkheid voor zoekrobotsMet behulp van een robots.txt bestandje is het mogelijk om bepaalde delen van je site ontoegankelijk te maken voor de zoekbots van zoekmachines.
|
Met behulp van een robots.txt bestandje is het mogelijk om bepaalde delen van je site ontoegankelijk te maken voor de zoekbots van zoekmachines.
(bijvoorbeeld je contentmanager of iets dergelijks.)
Het robots.txt-bestand zet je in de root-map van je site. Je maakt in je html-editor, bijvoorbeeld Context of Kladblok, een pagina aan.
Voer in deze pagina één "user-agent:" en één of meer "disallow:" regels in.
De user-agent: is om aan te geven welke spider van de zoekbot je wilt toelaten. Je kunt hier bijvoorbeeld "googlebot" invullen en dan mag de spider van Google je site wel indexeren maar andere niet.
Het is ook mogelijk om hiervoor een "*" in te vullen, wat alle spiders toegang geeft om je site te indexeren.
Een paar voorbeelden: Hier mag de zoekbot van Google de site wel indexeren en anderen niet, maar mag de Googlebot niet de directory vakantie indexeren.
voorbeeld:User-agent: googlebot disallow:/vakantie/
Hier mogen alle zoekbot (spiders) je site bezoeken maar niks indexeren.
voorbeeld:User-agent: * disallow:/
Hier mogen alle zoekbots je site indexeren, alleen niet de mappen gastenboek en forum en ook niet page3.html
voorbeeld:User-agent: * disallow:/gastenboek/ disallow:/forum/ disallow:/page3.html
