File robots.txt është skedari kryesor që përshkruan përpunimit të rregullave faqet e motorët e kërkimit. Kjo fotografi është e nevojshme për të specifikuar fillore emrin e faqes, harta e faqes (sitemap.xml), publike dhe private pjesët e vendit.
File robots.txt përfshin direktivat:
- User-agjent i Direktivës përcakton se çfarë robot rregullat e mëposhtme
- * - të gjithë robots
- Yandex — kryesore robot Yandex
- Googlebot — Googlebot kryesore
- StackRambler — search engine Rambler
- Aport — Aport search engine
- Slurp është e Yahoo-së robot
- MSNBot është e MSN robot
- Lejoj Direktiva është ban pjesë të faqes
- Lejoni — Direktiva lejon pjesë të internetit
- Host — Direktiva përcaktojnë fillore emrin e faqes
- Sitemap— Direktiva drejtimin e një harta e faqes (sitemap.xml)
- Zvarritje-vonesa Direktiva përcakton se sa sekonda robot mund të prisni për një përgjigje nga site (kërkohet për shumë e ngarkuar burimeve, pra roboti nuk e konsiderojnë faqe është e disponueshme)
- I pastër-param Direktiva e përshkrimit të parametrave dinamik nuk ndikojnë në përmbajtjen e internetit
Помимо директив в robots.txt используются спец символы:
- * - lubi (duke përfshirë bosh) sekuenca e karaktereve
- $ — është një kufizim i rregullave të
Për të përmbledhur robots.txt përdorni udhëzimet e mësipërme dhe të kënduar nga personazhet si më poshtë:
- Përcakton emrin e robot në të cilën është shkruar një listë e rregullave
(User-agent: * - në rregull për të gjitha robots) - Magji një listë të ndaluar seksionet e faqes për të përcaktuara robot
( Disallow: / - për të parandaluar indeksimin e gjithë faqja e internetit) - Magji një listë të lejohet seksionet e faqes
(Të lejuar: /home/ ndarja në shtëpi lejohet) - Përcakton emrin e internetit
(Host: crazysquirrel.ru — kryesore emrin e faqes crazysquirrel.ru) - Përcakton absolute rrugën për dosjen sitemap.xml
(Sitemap: https:// crazysquirrel.ru/sitemap.xml)
Nëse faqja nuk ka tema të paligjshëm, robots.txt duhet të jetë të paktën 4 rreshta:
User-Agent: *
Të lejojë: /
Host: crazysquirrel.ru
Sitemap: https://crazysquirrel.ru/sitemap.xml
Kontrolloni robots.txt dhe si ndikon ai në indeksimin e internetit duke përdorur mjete Yandex