🤖 SEOIndexBot - Informationen
Diese Seite informiert Website-Betreiber über unseren Crawler-Bot und wie Sie dessen Verhalten steuern können.
User-Agent
SEOIndexBot/1.0 (+https://website-seo-check.com/bot-info)
Was macht der SEOIndexBot?
Der SEOIndexBot ist ein Webcrawler der für den SEO-Index Webseiten analysiert. Er erfasst:
- Titel und Meta-Beschreibungen
- Überschriften-Struktur (H1, H2, etc.)
- Grundlegende SEO-Metriken
- Strukturierte Daten (Schema.org)
Respektierte Standards
Der SEOIndexBot respektiert vollständig folgende technische Standards:
- robots.txt - Alle Anweisungen in Ihrer robots.txt werden befolgt
- Meta Robots Tags -
noindex und nofollow werden respektiert
- X-Robots-Tag Header - HTTP-Header werden ausgewertet
- Crawl-Delay - Zeitvorgaben aus robots.txt werden eingehalten
- rel="nofollow" - Links mit nofollow werden nicht verfolgt
So blockieren Sie den Bot
Option 1: robots.txt
Fügen Sie folgende Zeilen zu Ihrer robots.txt hinzu:
User-agent: SEOIndexBot
Disallow: /
Option 2: Meta-Tag
Fügen Sie diesen Meta-Tag in den <head>-Bereich Ihrer Seite ein:
<meta name="robots" content="noindex, nofollow">
Option 3: Einzelne Seiten
Sie können auch nur bestimmte Bereiche sperren:
User-agent: SEOIndexBot
Disallow: /privat/
Disallow: /intern/
Allow: /
Crawl-Verhalten
- Crawl-Rate: Max. 1 Request pro Sekunde (oder robots.txt Crawl-Delay)
- Max. Seiten pro Domain: 20 Unterseiten
- Re-Crawl Intervall: Alle 4 Wochen
- Respektiert: robots.txt, noindex, nofollow
Entfernung aus dem Index
Wenn Ihre Website bereits indexiert wurde und Sie eine Entfernung wünschen:
- Fügen Sie den Bot zu Ihrer robots.txt hinzu (siehe oben)
- Kontaktieren Sie uns über das unten stehende Formular
- Wir entfernen Ihre Domain innerhalb von 48 Stunden