Mi a setup fájlt, a speciális karakterek és iránymutatások lehetővé teszik-disallow, sitemap, host, user-agent

kezelése bejáró

Ha SEO-optimalizálás webhely más, mint a szokásos töltelék oldalnyi tartalom, szükséges, hogy figyelembe vegyék a technikai részét - azaz hogyan keresőrobotok viselkednek, ha az indexelés.

Ez a viselkedés többé-kevésbé szabályozott akarata által a fogadó oldalon, van egy alap fájl erre - Robots.txt.

Mi Robots.txt?

Alapvető utasítások robotok: letiltja indexelés és indexeli a lap (ok) a helyszínen.

Robots.txt - védekezni!

Így létre a fájlt - ez nagyon egyszerű: létrehozni egy egyszerű szöveges dokumentum, nyissa meg a Jegyzettömb (Notepad ++ vagy), és testre szabható.

Megfelelő konfiguráció Robots.txt

Ez mindenekelőtt a recept egyedi irányelvek. Ezek közül a legfontosabbak:

Kívánatos, hogy az irányelv követendő azonos módon, mint a fenti listában a fájlban.

Robots.txt fájlban a megfelelő beállításokat kell érteni, hogyan kell használni az úgynevezett speciális karaktereket. Ha ismert az a tény, hogy egy reguláris kifejezés, akkor nagyon könnyű. Ha nem - is.

Különleges karakterek csak 2:

A csillag (*) azt jelenti: „bármilyen karaktersor” (többek között, és nincs karakter). Például, meghatározza az Robots.txt a következő sort:

Dollár ($) jelöli a sor végére. Ha beállítja Robots.txt írsz, például

Megtalálható felvételeket anélkül, hogy ezeket speciális karakterek, mint például:

Kölcsönhatás engedélyezése és tiltása

Érdemes megjegyezni, hogy a véletlen útmutatást engedélyezi és letiltja elsőbbséget élveznek az irányelvek lehetővé teszik. Például, amikor egy ilyen felvétel:

- még indexelt oldalelem / cat /.

- ezt a bejegyzést tagadja index az összes oldalt rész / cat /, de lehetővé teszi, hogy indexeli az oldalt /cat/page.html.

By the way, ha nem akarjuk, hogy megtiltsák indexelése az oldalon, akkor is szükséges regisztrálni

Tiltása: # semmi nem tiltja

Engedélyezés: / # megoldja az összes

Itt egy példa a robots.txt fájl:

User-agent: * # fellebbezett minden robotot

Hagyjuk: /some-category/good-page.html # hagyjuk index az oldalt, de jó page.html meg

User-agent: Yandex # ismételni mindent Yandex ...

Host: site.ru # ... feltüntetésével az elsődleges tükör

Csak úgy hajtjuk végre a megfelelő beállítást robots.txt minden oldalon. Ismételje Yandex - nem kötelező - így alakult ki történelmileg. Meg tudod csinálni nélküle, de a hagyomány hagyomány ..

Szükséges megjegyezni, hogy azáltal, hogy gátolja index bármely oldalon Robots.tht, hajlamosak vagyunk szeretnénk elkerülni, hogy látta. De, rámutatva kifejezetten azt a fájlt, akkor nem „elrejteni” a többé-kevésbé gyakorlott felhasználók számára (akik ismerik a fájlt).

Annak érdekében, hogy eltemesse a teljes, akkor a legjobb, hogy egy meta tag robotok. amely regisztrálja közvetlenül az oldal kódja. És a robots.txt fájlt, akkor kívánatos előírni a globális beállítások - indexelése teljes szakaszok a helyén, stb

További cikkek a témában: