FÜR WEBSITE-BETREIBER
Crawler-Policy
DARKINDEX betreibt einen respektvollen, kuratierten Index für die dunkle Szene. Wir spiegeln keine Websites, kopieren keine vollständigen Inhalte und führen Nutzer zu den Originalquellen. Diese Seite erklärt, wie unser Crawler arbeitet und wie Sie ihn steuern.
User-Agent
Unser Crawler identifiziert sich eindeutig:
DarkIndexBot/1.0 (+https://darkindex.pages.dev/crawler-policy.html; contact: crawler@darkindex.de)
Zweck
Auffindbarkeit von Clubs, Events, Festivals, Veranstaltern, Shops, Magazinen, Labels, Bands, LARP-Gruppen, Mittelaltermärkten und Szene-Kalendern — mit klarer Attribution und Link zur Quelle.
Was wir indexieren
- Titel, Original-URL, Domain
- Kategorie und Szene-Tags
- Ort, Land, Datum, Event-Zeit
- kurzer Snippet (max. 300 Zeichen)
- kurze eigene Zusammenfassung (max. 600 Zeichen)
- Quelle und „zuletzt geprüft am“
Was wir NICHT tun
- keine vollständigen Artikel/Eventtexte/Reviews speichern
- keine fremden Bilder herunterladen oder hosten
- keine personenbezogenen Daten von Privatpersonen indexieren
- keine Logins, Paywalls, Captchas oder Bot-Schutz umgehen
- keine ganzen Datenbanken/Listen 1:1 kopieren
robots.txt & Rate Limits
Wir prüfen vor jedem Crawl die robots.txt Ihrer Domain und respektieren
Disallow-Regeln für DarkIndexBot und *. Wir crawlen
schonend (i. d. R. ein Request alle 5–10 Sekunden pro Domain) und reagieren mit Backoff
auf HTTP 429/403/5xx. Es gilt ein Crawl-Budget pro Domain und Tag.
Crawling blockieren
Fügen Sie folgendes in Ihre robots.txt ein, um DARKINDEX auszuschließen:
User-agent: DarkIndexBot Disallow: /
Entfernung beantragen (Takedown / Opt-out)
Sie möchten Ihre Domain oder einzelne Einträge entfernen lassen? Nutzen Sie unser Opt-out-Formular oder schreiben Sie an crawler@darkindex.de. Wir deaktivieren betroffene Einträge, setzen die Domain auf die Blockliste und verhindern zukünftiges Crawling.