robots.txt

[Alex1811]

Wir kann ich es anstellen, bei einem Programm wie HTTrack oder SPiderzilla u.ä. dass es auch Websites komplett herunterlädt, die eine robots.txt drin haben ?!

Weil sonst bricht es immer ab ....


Vielen Dank im Voraus !!

 

[XMasTree]

Wir kann ich es anstellen, bei einem Programm wie HTTrack oder SPiderzilla u.ä. dass es auch Websites komplett herunterlädt, die eine robots.txt drin haben ?!

Weil sonst bricht es immer ab ....


Vielen Dank im Voraus !!

Also, ich hatte für sowas immer Teleport Pro, das hat bei mir die Seiten immer gut runtergeladen, hab allerdings scho ewig nichts mehr damit gemacht, kannst ja mal bei Google nach dem Programm gucken.