Drejtë robots.txt

File robots.txt është skedari kryesor që përshkruan përpunimit të rregullave faqet e motorët e kërkimit. Kjo fotografi është e nevojshme për të specifikuar fillore emrin e faqes, harta e faqes (sitemap.xml), publike dhe private pjesët e vendit.
File robots.txt përfshin direktivat:

  • User-agjent i Direktivës përcakton se çfarë robot rregullat e mëposhtme
    • * - të gjithë robots
    • Yandex — kryesore robot Yandex
    • Googlebot — Googlebot kryesore
    • StackRambler — search engine Rambler
    • Aport — Aport search engine
    • Slurp është e Yahoo-së robot
    • MSNBot është e MSN robot
  • Lejoj Direktiva është ban pjesë të faqes
  • Lejoni — Direktiva lejon pjesë të internetit
  • Host — Direktiva përcaktojnë fillore emrin e faqes
  • Sitemap— Direktiva drejtimin e një harta e faqes (sitemap.xml)
  • Zvarritje-vonesa Direktiva përcakton se sa sekonda robot mund të prisni për një përgjigje nga site (kërkohet për shumë e ngarkuar burimeve, pra roboti nuk e konsiderojnë faqe është e disponueshme)
  • I pastër-param Direktiva e përshkrimit të parametrave dinamik nuk ndikojnë në përmbajtjen e internetit

Помимо директив в robots.txt используются спец символы:

  • * - lubi (duke përfshirë bosh) sekuenca e karaktereve
  • $ — është një kufizim i rregullave të

Për të përmbledhur robots.txt përdorni udhëzimet e mësipërme dhe të kënduar nga personazhet si më poshtë:

  • Përcakton emrin e robot në të cilën është shkruar një listë e rregullave
    (User-agent: * - në rregull për të gjitha robots)
  • Magji një listë të ndaluar seksionet e faqes për të përcaktuara robot
    ( Disallow: / - për të parandaluar indeksimin e gjithë faqja e internetit)
  • Magji një listë të lejohet seksionet e faqes
    (Të lejuar: /home/ ndarja në shtëpi lejohet)
  • Përcakton emrin e internetit
    (Host: crazysquirrel.ru — kryesore emrin e faqes crazysquirrel.ru)
  • Përcakton absolute rrugën për dosjen sitemap.xml
    (Sitemap: https:// crazysquirrel.ru/sitemap.xml)

Nëse faqja nuk ka tema të paligjshëm, robots.txt duhet të jetë të paktën 4 rreshta:

User-Agent: *
Të lejojë: /
Host: crazysquirrel.ru
Sitemap: https://crazysquirrel.ru/sitemap.xml

Kontrolloni robots.txt dhe si ndikon ai në indeksimin e internetit duke përdorur mjete Yandex

Të parë dhe të lënë komente