# ================================================================
# DeclareMods Roblox Scripts Platform - SEO-OPTIMIERTE ROBOTS.TXT
# Datei: /public_html/roblox-scripts/robots.txt
# Version: 2.1 - KORRIGIERT für Sitemap-Probleme
# ================================================================

# ================================================================
# ALLGEMEINE CRAWLING-REGELN - ALLE BOTS
# ================================================================
User-agent: *
Allow: /

# Crawl-Delay für Server-Schonung (1 Sekunde zwischen Requests)
Crawl-delay: 1

# ================================================================
# CRAWL BUDGET OPTIMIERUNG - BLOCKIERE UNWICHTIGE BEREICHE
# ================================================================

# Administrative Bereiche blockieren
Disallow: /wp-admin/
Disallow: /admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/*/admin/
Disallow: /wp-content/cache/
Disallow: /wp-content/uploads/wpo-cache/

# Ausnahme für wichtige Admin-AJAX Calls (für Funktionalität)
Allow: /wp-admin/admin-ajax.php

# ================================================================
# PARAMETER-URLs BLOCKIEREN (CRAWL BUDGET SPAREN)
# ================================================================

# Tracking Parameter blockieren
Disallow: /*?utm_*
Disallow: /*?ref=*
Disallow: /*?source=*
Disallow: /*?medium=*
Disallow: /*?campaign=*
Disallow: /*?fbclid=*
Disallow: /*?gclid=*

# Session IDs und User-spezifische Parameter
Disallow: /*?PHPSESSID=*
Disallow: /*?sessionid=*
Disallow: /*?sid=*
Disallow: /*?user_id=*

# Such-URLs blockieren (können unendlich sein)
Disallow: /*?s=*
Disallow: /*?search=*
Disallow: /*?q=*

# Filter-Parameter für Scripts (vermeidet Duplicate Content)
Disallow: /*?sort=*
Disallow: /*?order=*
Disallow: /*?filter=*
Disallow: /*?view=*
Disallow: /*?page=*

# ================================================================
# DUPLICATE CONTENT VERMEIDEN
# ================================================================

# Print-Versionen blockieren
Disallow: /*/print/
Disallow: /*?print=*

# PDF-Generierungen blockieren (falls implementiert)
Disallow: /*?pdf=*
Disallow: /pdf/

# Archive-Seiten mit geringem SEO-Wert
Disallow: /archive/
Disallow: /archives/
Disallow: /tag/
Disallow: /tags/
Disallow: /author/
Disallow: /date/

# Kommentar-Feeds (wenig SEO-Wert)
Disallow: /*/feed/
Disallow: /comments/feed/
Disallow: /*/comments/

# ================================================================
# TECHNISCHE DATEIEN BLOCKIEREN - KORRIGIERT
# ================================================================

# Backup-Dateien
Disallow: /*.bak
Disallow: /*.backup
Disallow: /*.old
Disallow: /*.tmp
Disallow: /*.temp

# Konfigurationsdateien
Disallow: /*.conf
Disallow: /*.config
Disallow: /*.ini
Disallow: /*.env
Disallow: /.env

# Log-Dateien
Disallow: /*.log
Disallow: /logs/
Disallow: /error_log

# Database-Dumps
Disallow: /*.sql
Disallow: /*.db
Disallow: /*.sqlite

# JSON-Dateien - KORRIGIERT (erlaubt meta/scripts.json)
Disallow: /*.json
Allow: /meta/*.json
Allow: /*structured-data*.json
Allow: /*schema*.json

# ================================================================
# DEVELOPMENT & STAGING BEREICHE
# ================================================================

# Staging-Umgebungen
Disallow: /staging/
Disallow: /dev/
Disallow: /test/
Disallow: /beta/
Disallow: /demo/

# Version Control
Disallow: /.git/
Disallow: /.svn/
Disallow: /.htaccess
Disallow: /.htpasswd

# ================================================================
# E-COMMERCE SPEZIFISCHE BLOCKIERUNGEN
# ================================================================

# Warenkorb und Checkout (privat/nutzlos für SEO)
Disallow: /cart/
Disallow: /checkout/
Disallow: /basket/
Disallow: /order/
Disallow: /payment/

# User-Account Bereiche
Disallow: /account/
Disallow: /profile/
Disallow: /dashboard/
Disallow: /my-account/
Disallow: /login/
Disallow: /register/
Disallow: /signup/

# ================================================================
# SPEZIELLE BOT-REGELN
# ================================================================

# GoogleBot - Optimiert für beste Performance
User-agent: Googlebot
Crawl-delay: 1
Allow: /
# Explizit Sitemaps erlauben
Allow: /sitemap*.xml

# BingBot - Ähnliche Regeln wie GoogleBot
User-agent: Bingbot
Crawl-delay: 2
Allow: /
Allow: /sitemap*.xml

# Social Media Bots - Erlauben für Sharing
User-agent: facebookexternalhit
User-agent: Twitterbot
User-agent: LinkedInBot
User-agent: TelegramBot
Allow: /
Crawl-delay: 1

# ================================================================
# SCHÄDLICHE BOTS BLOCKIEREN
# ================================================================

# SEO-Tools die Crawl Budget verschwenden
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

# Aggressive Scraper blockieren
User-agent: SurveyBot
Disallow: /

User-agent: HttpUrlConnection
Disallow: /

User-agent: Java
Disallow: /

User-agent: libwww
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: ZmEu
Disallow: /

# ================================================================
# XML SITEMAPS - NUR DER INDEX! (KORRIGIERT)
# ================================================================

# WICHTIG: Nur der Sitemap-Index!
# Google findet alle Sub-Sitemaps automatisch über den Index
Sitemap: https://declaremods.com/roblox-scripts/sitemap.xml

# ================================================================
# NOTIZEN FÜR WARTUNG
# ================================================================

# WICHTIG: Nach größeren Updates prüfen:
# 1. Google Search Console -> Coverage Report
# 2. Bing Webmaster Tools -> Site Inspection
# 3. Server-Logs analysieren für ungewöhnliche Bot-Aktivität

# Monatliche Review-Punkte:
# - Neue Parameter-URLs identifizieren und blockieren
# - Crawl Budget Nutzung in GSC überprüfen
# - Neue schädliche Bots identifizieren und blockieren

# SITEMAP-REGEL:
# Nur den INDEX in robots.txt auflisten!
# Sub-Sitemaps werden automatisch über Index entdeckt

# ================================================================
# ENDE DER ROBOTS.TXT
# ================================================================