Soubor robots.txt je jedním z klíčových prvků procesu optimalizace webu pro vyhledávače. Umožňuje ovládat přístup vyhledávačů k určitým stránkám webu tím, že jim řekne, které stránky jsou povoleny pro indexování a které ne. V tomto článku se podíváme, jak změnit soubor robots.txt a nakonfigurujte jej tak, aby byl váš web co nejotevřenější pro indexování vyhledávačů a také chráněný před nežádoucím indexováním.
Krok 1. Vytvoření souboru robots.txt
Prvním krokem je vytvoření souboru robots.txt a umístit jej do kořenového adresáře vašeho webu. Může to být adresář public_html nebo www, v závislosti na nastavení vašeho hostingu. Soubor by se měl jmenovat podobně - robots.txt. Všimněte si, že soubor robots.txt je veřejný soubor, takže jeho obsah může zobrazit každý návštěvník vašeho webu.
Příklad obsahu souboru robots.txt:
User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /private/
Krok 2. Definice směrnic
V souboru robots.txt používají speciální směrnice, které vyhledávačům říkají, které stránky by měly nebo neměly být indexovány. Směrnice začínají slovem "Disallow" nebo "Allow", po kterém následuje cesta na stránku nebo adresář. Označení " * " místo názvu vyhledávacího robota znamená, že směrnice platí pro všechny roboty. Pro každou směrnici se používá nový řádek.
Příklad použití směrnic:
User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /private/User-agent: GooglebotDisallow: /admin/Allow: /public/
V tomto příkladu jsou tedy všichni vyhledávači zakázáni indexovat stránky v adresářích "cgi-bin", "tmp"a " private". Vyhledávač Googlebot je však oprávněn indexovat stránky, které jsou v adresáři "public".
Proč potřebujete změnit soubor robots?
Hlavním cílem změny souboru Robots je poskytnout pokyny vyhledávačům, které stránky mají být indexovány, které stránky by měly být ignorovány a jak často by měli vyhledávací roboti přistupovat k Vašim stránkám. To vám umožní optimalizovat indexování vašeho webu a zlepšit jeho viditelnost ve vyhledávání.
Změna souboru Robots je zvláště užitečná, když chcete omezit přístup k určitým částem vašeho webu, jako je panel pro správu nebo určité kategorie stránek. V souboru robots můžete určit, které adresy URL by měly být vyloučeny z indexování, aby se zabránilo jejich zobrazení ve výsledcích vyhledávání.
Kromě toho lze soubor robots použít k řízení rychlosti skenování vašich webových stránek vyhledávači. Můžete zadat frekvenci dotazů, abyste omezili zatížení serveru a zabránili častému skenování nežádoucími roboty.
Celkově Vám změna souboru robots dává větší kontrolu nad indexováním a viditelností vašeho webu ve vyhledávačích. Umožňuje optimalizovat proces indexování, spravovat přístup a zvýšit efektivitu vaší SEO strategie.
Jak najít soubor robots.txt na svých stránkách?
- Otevřete program FTP klienta a připojte se k webovému serveru.
- Přihlaste se do adresáře svého webu.
- Zkontrolujte, zda existuje soubor s názvem " robots.txt". Pokud soubor chybí, vytvořte nový soubor s názvem "robots.txt".
- Otevřete soubor pomocí textového editoru. Můžete použít jakýkoli textový editor, jako je Notepad, Notepad++, Sublime Text atd.
Nyní si můžete prohlédnout obsah souboru robots.txt a provést všechny potřebné změny k nastavení pokynů pro roboty vyhledávačů na vašem webu.
Otevření souboru robots.txt pro úpravy
1. Najděte soubor robots.txt na svém webovém serveru.
Soubor robots.txt se obvykle nachází v kořenové složce webu a je k dispozici na: www.example.com/robots.txt.. Pokud máte přístup k serveru prostřednictvím FTP nebo ovládacího panelu hostingu, můžete najít soubor robots.txt v kořenovém adresáři.
2. Zkopírujte soubor robots.txt do počítače.
Před provedením změn v souboru se doporučuje zálohovat jej. Stačí zkopírovat soubor robots.TXT na vašem počítači, abyste jej mohli obnovit v případě chyby.
3. Otevřete soubor robots.txt v textovém editoru.
Pro úpravu souboru robots.txt budete potřebovat textový editor, jako je Notepad (pro uživatele Windows) nebo TextEdit (pro uživatele Mac).
Pokud nejste obeznámeni s kódováním souboru, nedoporučuje se používat editor Word, protože může přidat neviditelné znaky, které mohou negativně ovlivnit funkčnost souboru robots.txt.
4. Proveďte potřebné změny v souboru robots.txt.
Nyní, když jste otevřeli soubor robots.txt v textovém editoru, můžete provést potřebné změny podle požadavků vašeho webu. Po provedení změn nezapomeňte soubor uložit.
5. Stáhněte si upravený soubor robots.txt zpět na server.
Po provedení změn v souboru robots.txt na vašem počítači, musíte jej stáhnout zpět na server. Ke stažení souboru robots použijte FTP klienta.txt do kořenové složky vašeho webu.
Poznámka: Po stažení upraveného souboru robots.TXT na server, změny mohou vyhledávači odhalit až po dalším obcházení webu. Pokud tedy provedete změny v souboru robots.txt s cílem vyloučit stránky z indexování, mějte na paměti, že tyto stránky se mohou stále zobrazovat ve výsledcích vyhledávání až do dalšího obcházení vyhledávačů.
Jak změním oprávnění pro vyhledávací roboty?
Pro změnu oprávnění pro vyhledávací roboty v souboru robots.txt je třeba dodržovat několik jednoduchých kroků.
1. Otevřete soubor robots.txt v textovém editoru nebo speciálním nástroji poskytnutém vaší CMS.
2. Ve výchozím nastavení jsou oprávnění pro všechny vyhledávací roboty nastavena pomocí směrnice " User-agent: * ", což označuje všechny roboty.
3. Pro změnu oprávnění pro určité vyhledávací roboty by měla být použita směrnice "User-agent: název_robota". Například "User-agent: Googlebot"nebo" User-agent: Bingbot".
4. Pomocí směrnice "Disallow:" nastavte oprávnění pro konkrétní části vašeho webu. Například " Disallow: / secret_stránka " zakáže robotům přístup na tuto stránku.
5. Použijte směrnici "Allow:" k určení oprávnění robotů k přístupu do určitých sekcí, které byly dříve zakázány. Například "Allow: / open stran_stránka" umožní přístup na zadanou stránku.
6. Po provedení všech změn v souboru robots.TXT uložte a nahrajte na server.
7. Zkontrolujte správné nastavení oprávnění pomocí nástrojů poskytovaných samotnými vyhledávači. Například Google Search Console nebo Bing Webmaster Tools.
Nyní víte, jak změnit oprávnění pro vyhledávací roboty v souboru robots.txt. Postupujte podle uvedených kroků a ovládejte přístup robotů na váš web.
Kontrola a aplikace změn
Po provedení změn v souboru robots.txt je třeba zkontrolovat a použít tyto změny, abyste se ujistili, že na vašem webu fungují správně. Chcete-li tento úkol splnit, postupujte podle pokynů níže:
- Prvním krokem je kontrola syntaxe souboru robots.txt. Další mezery, nesprávné znaky nebo překlepy mohou vést k nesprávnému fungování souboru. K ověření syntaxe můžete použít online nástroje nebo specializované programy.
- Pokud byly opraveny všechny syntaktické chyby, dalším krokem je kontrola blokování stránek. Ujistěte se, že stránky, které jste chtěli zablokovat, byly úspěšně zablokovány. K tomu lze použít nástroje Webmaster, jako je Google Search Console.
- Po kontrole blokování stránek zkontrolujte, zda jsou všechny povolené stránky stále dostupné pro vyhledávače. Projděte povolené odkazy na vašem webu a ujistěte se, že se otevírají bez problémů.
- Pokud chcete přidat nebo změnit směrnice pro konkrétní vyhledávače, ujistěte se, že tyto změny vstoupily v platnost a platí správně. K tomu můžete použít nástroje webmaster nebo interní analytické schopnosti vašeho webu.
Po důkladné kontrole a aplikaci změn v souboru robots.TXT se doporučuje uložit a pravidelně aktualizovat tento soubor, abyste si byli jisti jeho aktuálností a správností na vašem webu.