El robot BuscadorCR

Cómo se identifica

Cada petición lleva este User-Agent:

Mozilla/5.0 (compatible; BuscadorCR/1.0; +https://buscador.cr/robot)

El nombre que obedece en robots.txt es BuscadorCR (no distingue mayúsculas).

Qué respeta

• robots.txt, según la norma RFC 9309. Si hay un grupo para BuscadorCR, sigue ese; si no, el de *. También lee los Sitemap: que declare.
• Crawl-delay, entre 1 y 60 segundos. Sin él, como mucho una petición por segundo a cada sitio, una a la vez, y más despacio si su servidor responde lento o con errores 429 o 503.
• noindex, en la etiqueta <meta name="robots">, en <meta name="buscadorcr"> o en la cabecera X-Robots-Tag: la página no entra.
• nosnippet: mostramos el título y el enlace, sin fragmento de texto.
• max-snippet: el fragmento no pasa del largo que usted indique.
• nofollow: no contamos esos enlaces.

Solo mostramos fragmentos cortos con enlace a su página. No guardamos copias para mostrarlas.

Cómo lee

• Primero el robots.txt y los sitemaps; después las páginas.
• Pide las páginas con GET condicional (If-None-Match, If-Modified-Since): si nada cambió, su servidor responde 304 y casi no gasta.
• Vuelve más seguido a lo que cambia y menos a lo que no.
• En la primera vuelta lee como mucho 2.000 páginas por sitio.

Cómo bloquearlo

Para que no lea nada de su sitio, ponga en su robots.txt:

User-agent: BuscadorCR
Disallow: /

Para cerrar solo una parte:

User-agent: BuscadorCR
Disallow: /privado/

Para que una página no salga en los resultados aunque el robot la lea, use <meta name="robots" content="noindex">. El cambio se nota la próxima vez que la lea.

De dónde sale

El robot corre en la infraestructura de ForHosting.com/HOST, repartida en varios centros de datos, así que no tiene direcciones IP fijas. Para comprobar que es nosotros, fíjese en el User-Agent (BuscadorCR). Más adelante cada petición irá firmada con Web Bot Auth.

Contacto

Si el robot le causa un problema, escríbanos a mi@buscador.cr con su dominio y la hora aproximada. Para que quitemos un resultado por datos personales o derechos de autor, vea la página de retiros. Si el sitio es suyo, la app de buscador.cr le deja verlo todo y retirar direcciones usted mismo (vea Para webmasters).