Archiv
Ansicht:   
Suche   erweiterte Suche

Nachricht aus dem Archiv

Karsten Meyer schrieb am 24.June.2009, 10:37:01 in der Kategorie web.coding

Xenu's Link Sleuth und die Wikipedia

> Hi Karsten,
>
> > http://de.wikipedia.org/wiki/Ansichtskarte
>
> diese URLs werden ja sehr häufig verlinkt, also müssen sie auch möglich
> und sogar gewollt sein.
>
> > error code: 403 (forbidden request), linked from page(s):
> >
> > Frage daher: Mach ich was falsch? Kann/soll ich was ändern?
> > Oder mag Wikipedia solche Tests einfach nicht?
>
> Dazu wäre interessant zu wissen, wie dieses Xenu arbeitet. Es kann sein,
> dass es mit einer falschen Methode prüft, aber eher glaube ich auch, dass
> Wikipedia den UserAgent prüft. Man müsste mal wissen, was Xenu dazu
> verwendet.
>
> Es gibt ja zum Beispiel diese Download-Manager, mit denen man komplette
> Websites herunterladen kann. Die haben im UA manchmal ein Erkennungszeichen
> (z. B. FDM - das muss aber auch nicht unbedingt ein FDM sein). Wenn sich
> Wikipedia gegen solche FDMs schützt, kann es sein, dass die einen 403er
> eingerichtet haben. Ich habe es bei einigen meiner Websites so gemacht,
> dass man im Impressum landet, wenn es sich um einen FDM handelt. Allerdings
> muss man sehr vorsichtig und genau sein, denn der UA kann ja auch
> verfälscht sein, ist also nicht zuverlässig.

Ah so, vielen Dank - sehr aufschlussreich.

Habe dazu in der FAQ des Programms folgendes gefunden:

20. Why are some links reported as \"broken\" by Xenu, that can be displayed within my browser?
Some servers read the \"User Agent\", i.e. the name of the software that tries to access a website. Some websites are programmed only for Netscape and Internet Explorer, and refuse everything else. Some may even specifically refuse Xenu because of past misuse. Andi has a list of websites that deny access to Xenu. A user-configurable \"User Agent\" would be the solution, but this would make abuse possible.


Ist ja auch irgendwie verständlich, werde diese Meldungen in Zukunft ignorieren.

Besten Dank!
Karsten

PS: Xenu\'s Link Sleuth ist ein feines Stückchen freier Software!



Edit (Jörg): Links korrigiert.
Archiv
Ansicht:   
Suche   erweiterte Suche
Auf unserer Web-Seite werden Cookies eingesetzt, um diverse Funktionalitäten zu gewährleisten. Hier erfährst du alles zum Datenschutz