ScholarBot

Cách nhận biết

Mọi yêu cầu ScholarBot gửi đi đều mang chuỗi user agent này:

ScholarBot/1.0 (+https://scholar.com/bot; course content ingestion)

Các yêu cầu đến từ dịch vụ lưu trữ đám mây (Amazon Web Services). Chúng tôi không công bố danh sách địa chỉ IP cố định, vì vậy user agent là cách để nhận biết nó.

Những gì nó đọc

• Các trang giảng viên đã liên kết như một mục của khóa học. ScholarBot chỉ đọc một trang khi giảng viên đã đặt trang đó thành liên kết trong khóa học. Một trang web chỉ được nhắc đến trong phần văn bản của khóa học sẽ không được đọc.
• Thêm một bước, chỉ trên trang web của bạn, chỉ với trang mục lục. Nếu một trang được liên kết có ít nội dung văn bản, chẳng hạn trang mục lục, ScholarBot có thể đọc tối đa ba trang hoặc tệp mà trang đó liên kết đến trên cùng trang web. Nó không bao giờ đi xa hơn bước đó.
• Hình ảnh trên các trang nó đã đọc. Khi một trang hiển thị hình ảnh, chẳng hạn sơ đồ, ScholarBot có thể tải hình đó xuống để đọc chữ bên trong, giống như cách trình duyệt tải hình. Các yêu cầu tải hình này dùng cùng user agent, nhưng không được đối chiếu với robots.txt.
• Ghé lại định kỳ. Khoảng 14 ngày một lần, ScholarBot quay lại kiểm tra trang nó đã đọc, để sinh viên thấy phiên bản hiện tại của trang.

Những gì nó không làm

• Nó không đăng nhập, không gửi cookie và không gửi biểu mẫu.
• Nó không chạy JavaScript. Trang cần trình duyệt mới hiển thị được nội dung sẽ được ghi nhận là không đọc được và để nguyên.
• Nó không tự khám phá hay thu thập những trang web không được giảng viên nào liên kết.
• Nó không đăng lại trang của bạn. Scholar lưu phần văn bản để sinh viên trong khóa học đó có thể tìm kiếm và đặt câu hỏi về nội dung ấy. Khi Scholar trả lời dựa trên nội dung đó, Scholar ghi rõ trang của bạn là nguồn, và sinh viên mở chính trang đó trên trang web của bạn.

robots.txt

Trước khi đọc một trang, ScholarBot tải tệp /robots.txt của trang web bạn và tuân theo các quy tắc Disallow dành cho User-agent: * và User-agent: ScholarBot. Nó áp dụng cùng phép kiểm tra đó cho mọi lần chuyển hướng mà nó đi theo. Để chặn nó trên toàn bộ trang web của bạn:

User-agent: ScholarBot
Disallow: /

Một vài chi tiết cụ thể, để bạn không bị bất ngờ:

• Disallow luôn được ưu tiên. ScholarBot không đọc các dòng Allow, nên một dòng Allow không thể mở lại đường dẫn mà một dòng Disallow đã chặn.
• Ký tự đại diện * và $ hoạt động như thông thường. Crawl-delay không được đọc.
• Nếu không tải được robots.txt của bạn, ScholarBot coi như trang web của bạn cho phép nó truy cập.
• Trang bạn chặn sẽ được kiểm tra lại theo cùng chu kỳ 14 ngày, nên nếu bạn gỡ lệnh chặn, thay đổi sẽ có hiệu lực mà bạn không cần liên hệ với ai.

Liên hệ với chúng tôi

Nếu bạn có câu hỏi về ScholarBot, hoặc muốn yêu cầu chúng tôi ngừng đọc trang web của bạn, hãy gửi email đến support@scholar.com. Vui lòng ghi tên miền của bạn, kèm một dòng nhật ký mẫu nếu có. Quy tắc robots.txt có hiệu lực từ lần ghé tiếp theo của ScholarBot, không cần chờ chúng tôi.

Để biết Scholar xử lý dữ liệu khóa học và dữ liệu sinh viên như thế nào, hãy xem Tin cậy và bảo mật.