a speciális karakterek

Mi a setup fájlt, a speciális karakterek és iránymutatások lehetővé teszik-disallow, sitemap, host, user-agent
A helyes fájl robots.txt? Mi ez, és miért van szükség (példákkal). Irányelv ?? Hagyjuk-elutasítás, címe, Oldaltérkép ?? és beállítási robotok txt fájlt.