Datenbutler
Kann der Datenbutler jede verfügbare Information aus dem Internet auslesen?
Technisch betrachtet kann der Datenbutler jede Information auslesen, auf die er Zugriff erhält. Allerdings sind immer auch die rechtlichen Bedingungen zu berücksichtigen. Insbesondere die Wahrung der Urheberrechte und die Berücksichtigung von lizenzrechtlichen Vorgaben sind dem Datenbutler sehr wichtig.
Wie erkenne ich den Datenbutler-Crawler?
Alle Crawler-Systeme von mindUp respektieren die Definitionen aus der robots.txt und geben sich mit einer Kennung im Text des User-Agent beim Abruf der Webseiten zu erkennen. Wenn Sie nicht möchten, dass der Crawler bestimmte Verzeichnisse ausliest, müssen Sie eine entsprechende Anweisung in die robots.txt einfügen.
Kennung des Crawlers: mindUpBot (datenbutler.de)