ScholarBot
写给在日志中看到 ScholarBot 的网站所有者。
ScholarBot 是 Scholar 背后的网页读取程序。Scholar 是 Blackboard 推出的学习工具，大学生通过所在学校的 Blackboard 课程使用它。当讲师在课程中链接某个网页时，ScholarBot 会读取该页面，以便该课程的学生利用它学习。
如何识别
ScholarBot 发出的每个请求都带有以下用户代理（User-Agent）：
ScholarBot/1.0 (+https://scholar.com/bot; course content ingestion)请求来自云托管服务（Amazon Web Services）。我们不公布固定的 IP 地址列表，因此请通过用户代理来识别它。
读取哪些内容
- 讲师作为课程项目链接的页面。只有当讲师将某个页面设为课程链接时，ScholarBot 才会读取它。仅在课程正文中被提及的网站不会被读取。
- 再多一步：仅限您的网站，仅限索引页。如果被链接的页面本身文字很少（例如索引页），ScholarBot 最多可能读取该页面在同一网站上链接到的三个页面或文件。它绝不会超出这一步。
- 已读取页面上的图片。当页面显示图片（例如示意图）时，ScholarBot 可能会像浏览器加载图片那样下载它，以读取其中的文字。这些图片请求使用相同的用户代理，但不会对照 robots.txt 进行检查。
- 定期回访。对于已读取的页面，ScholarBot 大约每 14 天回访一次，以便学生看到页面的最新版本。
不会做什么
- 它不会登录、发送 Cookie 或提交表单。
- 它不运行 JavaScript。需要浏览器才能显示内容的页面会被记录为无法读取，不再处理。
- 它不会发现或抓取没有讲师链接过的网站。
- 它不会转载您的页面。Scholar 会保留页面文字，供该课程的学生搜索和提问。当 Scholar 依据这些文字作答时，会注明您的页面为来源，学生会到您的网站上打开页面本身。
robots.txt
ScholarBot 在读取页面之前，会获取您网站的 /robots.txt，并遵守其中针对 User-agent: * 和 User-agent: ScholarBot 的 Disallow 规则。它对所跟随的每一次重定向都执行同样的检查。如要禁止它访问您的整个网站：
User-agent: ScholarBot
Disallow: /几点具体说明，以免出乎您的意料：
Disallow始终优先。ScholarBot 不读取Allow行，因此Allow无法重新开放已被Disallow禁止的路径。- 通配符
*和$按常规方式生效。不读取Crawl-delay。 - 如果无法获取您的 robots.txt，ScholarBot 会视为您的网站允许它访问。
- 被您屏蔽的页面会按同样的 14 天周期再次检查，因此如果您解除屏蔽，无需联系任何人即可生效。
联系我们
如对 ScholarBot 有疑问，或希望我们停止读取您的网站，请发送电子邮件至 support@scholar.com。请注明您的域名，如有日志示例行也请一并附上。robots.txt 规则从 ScholarBot 下一次访问起即生效，无需等待我们处理。
如需了解 Scholar 如何处理课程和学生数据，请参阅信任与安全。