Indexering door Google en Bing
Thursday 23 July 2026
Bij inspectie van het access log voor jiten.nl ontdekte ik foute paden die achter index.cgi geplakt waren. Hoe waren die ontstaan?
Omdat de paden ongewenst zijn heb ik er 404 van gemaakt via AcceptPathInfo Off. Na verder onderzoek bleek me dat ik bij mijn laatste ronde om maar een beperkt aantal bots toe te staan via robots.txt¹ ik te strikt was geweest. Ik stond index.cgi?z=[woord] toe, maar /?z=[woord] niet (meer). Misschien dat dit Googlebot prikkelde om op zoek te gaan naar alternative paden (zoals: index.cgi/correcties/glossary/glossary/?z=[woord])?
Wel, robots.txt ook weer gewijzigd, na een tijdje zal de situatie zich wel weer stabiliseren.
1. Ik heb de laatste maanden allerlei wijzigingen aangebracht in de werking van de webserver om de belasting beheersbaar te houden en te voorkomen dat de pagina’s vastlopen. Een restrictieve
robots.txt was één van die wijzigingen. Op een dag krijg ik rond de 35.000 hits, maar letterlijk meer dan 99% daarvan is (soms heel agressieve) bots.