ScholarBot

Cómo reconocerlo

Cada solicitud que hace ScholarBot incluye este agente de usuario:

ScholarBot/1.0 (+https://scholar.com/bot; course content ingestion)

Las solicitudes provienen de alojamiento en la nube (Amazon Web Services). No publicamos una lista fija de direcciones IP, así que el agente de usuario es la forma de identificarlo.

Qué lee

• Páginas que un instructor enlazó como elemento del curso. ScholarBot lee una página solo cuando un instructor la agregó como enlace del curso. Un sitio que solo se menciona en el texto de un curso no se lee.
• Un paso más, solo en su sitio y solo en páginas índice. Si una página enlazada tiene poco texto propio, como una página índice, ScholarBot puede leer hasta tres de las páginas o archivos a los que enlaza dentro del mismo sitio. Nunca va más allá de ese único paso.
• Imágenes de las páginas que ya leyó. Cuando una página muestra una imagen, como un diagrama, ScholarBot puede descargarla para leer el texto que contenga, del mismo modo que la carga un navegador. Estas solicitudes de imágenes usan el mismo agente de usuario, pero no se comprueban con robots.txt.
• Visitas periódicas. ScholarBot vuelve a revisar las páginas que ya leyó aproximadamente cada 14 días, para que los estudiantes vean la versión actual de su página.

Qué no hace

• No inicia sesión, no envía cookies ni completa formularios.
• No ejecuta JavaScript. Una página que necesita un navegador para mostrar su contenido se registra como ilegible y se deja como está.
• No descubre ni rastrea sitios que ningún instructor haya enlazado.
• No vuelve a publicar su página. Scholar guarda el texto para que los estudiantes de ese curso puedan buscar en él y hacer preguntas sobre él. Cuando Scholar responde a partir de ese texto, indica su página como fuente, y los estudiantes abren la página original en su sitio.

robots.txt

Antes de leer una página, ScholarBot obtiene el archivo /robots.txt de su sitio y sigue sus reglas Disallow para User-agent: * y User-agent: ScholarBot. Aplica la misma comprobación a cada redirección que sigue. Para que no acceda a ninguna parte de su sitio:

User-agent: ScholarBot
Disallow: /

Algunos detalles, para que no haya sorpresas:

• Disallow siempre prevalece. ScholarBot no lee las líneas Allow, así que un Allow no puede volver a abrir una ruta que un Disallow cierra.
• Los comodines * y $ funcionan como de costumbre. Crawl-delay no se lee.
• Si no se puede obtener su robots.txt, ScholarBot considera que su sitio está abierto para él.
• Una página que usted bloquea se vuelve a comprobar en el mismo ciclo de 14 días, así que, si levanta un bloqueo, el cambio surte efecto sin que tenga que contactar a nadie.

Contacto

Si tiene una pregunta sobre ScholarBot o quiere pedirnos que dejemos de leer su sitio, escriba a support@scholar.com. Incluya su dominio y, si la tiene, una línea de registro de ejemplo. Una regla de robots.txt se aplica desde la próxima visita de ScholarBot, sin esperar a que intervengamos.

Para saber cómo maneja Scholar los datos de los cursos y de los estudiantes, consulte Confianza y seguridad.