Pouštíte na web AI roboty?
Přečteme si soubor robots.txt na vaší doméně a řekneme, jestli si váš web smějí přečíst roboti, kteří stojí za ChatGPT, Claude, Gemini a Perplexity. Bez účtu, bez e-mailu.
Kdo je kdo
Na jednoho asistenta připadá víc robotů — OpenAI i Anthropic jich mají několik. A nejsou si rovní: na jedněch záleží, jestli vás asistent v odpovědi ukáže, na druhých ne.
Nosí Claudovi stránky ve chvíli, kdy hledá odpověď. Když ho zavřete, Claude vás v odpovědi neuvede.
Načte konkrétní stránku, když si o ni řekne člověk v rozhovoru s Claudem. Patří ke stejné bráně jako Claude-SearchBot.
Netýká se běžného vyhledávání — řídí jen to, jestli váš web může použít Gemini. Zavřením si vyhledávání nepokazíte.
Robot běžného vyhledávání. Gemini staví na indexu Googlu, takže jeho zákaz vás vyřadí i z odpovědí Gemini.
Tenhle stojí za odkazy, které ChatGPT ukazuje při hledání. Když ho zavřete, ChatGPT vás v odpovědích neuvede.
Robot Perplexity, která skoro vždy odpovídá s odkazy na zdroje.
Robot Bingu. ChatGPT hledá přes index Bingu, takže zákaz bingbota tiše ubere citace i tam.
Sbírá texty pro učení modelu Claude. S živým hledáním nesouvisí — i když ho zavřete, Claude vás dál může citovat.
Sbírá texty, ze kterých se ChatGPT učí. Nesouvisí s tím, co ChatGPT ukáže, když někdo hledá teď.
Co když někoho blokujete
Nemusí to být chyba. Spousta webů má v souboru zavřený košík, administraci nebo výsledky vyhledávání a to je v pořádku — do odpovědi asistenta takové stránky stejně nepatří.
Jedno pravidlo, které zakáže všechno všem. Bývá to pozůstatek z doby, kdy se web teprve stavěl — a nikdo ho pak nesmazal.
Tohle tam někdo napsal se záměrem. Stojí za to vědět, jestli ten záměr pořád platí.
Tenhle nástroj se AI asistentů na nic neptá, jen čte jeden soubor na vašem webu. Skutečné měření viditelnosti je něco jiného.