Das Web Archive nimmt in Zukunft mehr auf

Mittwoch, 26.04.2017 von Diebspiel

Wie diverse Nachrichtenseiten berichten, wird das Web Archive künftig die robots.txt ignorieren. Diese Datei können Webseitenbetreiber einbinden um zu verhindern, dass diese Seite von Bots besucht wird. In diesem konkreten Fall, dass die Seite archiviert wird und im Internet Archive landet. Dies ändert sich nun. Auch trotz des Wunsches nicht besucht zu werden, wird das Internet Archive diese Seite besuchen und frei zugänglich archivieren.

Auch ich nutze dieses Archiv oft für die Wiki. Und diverse K-Szene-Seiten wurden damals nicht aufgenommen, da die Forenbesitzer das verboten hatten. Als bekanntestes Beispiel hat das K-Cheat gemacht. So gibt es heute von K-Cheat kaum Material, obwohl es von 2007-2011 online und sehr bekannt war. Da ich damals jedoch selbst dabei war und eigenes Material von diesem Forum habe und zusätzlich noch weitere Quellen existieren, auf die ich zugreifen kann, gibt es natürlich auch zu K-Cheat ausreichend Informationen in der Wiki.

Natürlich ist diese Änderung nicht rückwirkend gültig, d.h. die alten Seiten sind endgültig verloren. Jedoch ist das für die Zukunft sehr interessant, wenn auch die K-Szene natürlich davon nicht mehr profitieren wird.