# robots.txt para https://computeremuzone.com/
# Reforzado para reducir crawling agresivo, duplicados de sesión y rutas sin valor SEO.

# --- Google AdSense (anuncios) ---
User-agent: Mediapartners-Google
Allow: /

# --- Bots de búsqueda/IA que interesa permitir para descubrimiento y citas ---
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Google-Extended
User-agent: Applebot
User-agent: Applebot-Extended
Allow: /
Disallow: /download.php
Disallow: /online.php
Disallow: /right.php
Disallow: /right_proces.php
Disallow: /forum/search.php
Disallow: /forum/ucp.php
Disallow: /forum/memberlist.php
Disallow: /forum/mcp.php
Disallow: /forum/posting.php
Disallow: /*sid=

# --- Google Images ---
# Grupo explícito para que futuras restricciones genéricas no bloqueen por accidente
# las imágenes de fichas, sus cachés ni el generador de miniaturas.
User-agent: Googlebot-Image
Allow: /fichas-caratulas/
Allow: /fichas-pantallas/
Allow: /fichas-media/
Allow: /images/
Allow: /cache/
Allow: /thumb.php

# --- Internet Archive / Wayback Machine ---
# Grupo explícito para que futuras restricciones genéricas no bloqueen el archivado histórico.
User-agent: ia_archiver
User-agent: archive.org_bot
Allow: /

# --- Resto de bots ---
User-agent: *
# Endpoints no indexables: se dejan rastrear para que los bots lean X-Robots-Tag: noindex.
# Los enlaces internos llevan rel="nofollow" y download.php sigue protegido en .htaccess.
Disallow: /*.zip$
Disallow: /*.iso$
Disallow: /*.exe$
Disallow: /right.php
Disallow: /right_proces.php
Disallow: /online.php

# Bloquear rutas de phpBB que generan mucha carga o no tienen valor SEO
Disallow: /forum/search.php
Disallow: /forum/memberlist.php
Disallow: /forum/mcp.php
Disallow: /forum/posting.php
Disallow: /forum/app.php/help/faq

# Evitar duplicados por sesiones
Disallow: /*sid=

# (Opcional) retrasar a bots "semi-buenos" que respeten esta directiva
Crawl-delay: 10

# --- Sitemap principal ---
Sitemap: https://computeremuzone.com/sitemap.xml