Jörg Lorenz schrieb am 24.June.2009, 10:25:39 in der Kategorie web.coding
Xenu's Link Sleuth und die Wikipedia
Hi Karsten,
> http://de.wikipedia.org/wiki/Ansichtskarte
diese URLs werden ja sehr häufig verlinkt, also müssen sie auch möglich und sogar gewollt sein.
> error code: 403 (forbidden request), linked from page(s): > > Frage daher: Mach ich was falsch? Kann/soll ich was ändern? > Oder mag Wikipedia solche Tests einfach nicht?
Dazu wäre interessant zu wissen, wie dieses Xenu arbeitet. Es kann sein, dass es mit einer falschen Methode prüft, aber eher glaube ich auch, dass Wikipedia den UserAgent prüft. Man müsste mal wissen, was Xenu dazu verwendet.
Es gibt ja zum Beispiel diese Download-Manager, mit denen man komplette Websites herunterladen kann. Die haben im UA manchmal ein Erkennungszeichen (z. B. FDM - das muss aber auch nicht unbedingt ein FDM sein). Wenn sich Wikipedia gegen solche FDMs schützt, kann es sein, dass die einen 403er eingerichtet haben. Ich habe es bei einigen meiner Websites so gemacht, dass man im Impressum landet, wenn es sich um einen FDM handelt. Allerdings muss man sehr vorsichtig und genau sein, denn der UA kann ja auch verfälscht sein, ist also nicht zuverlässig.