OpenAI nutzt verschiedene Crawler für verschiedene Zwecke. OAI-SearchBot sammelt Seiten, damit sie in der ChatGPT-Suche erscheinen und zitiert werden können. GPTBot sammelt Inhalte, die zum Training von Modellen verwendet werden können. ChatGPT-User ruft eine Seite auf, wenn ein Nutzer darum bittet.
Jeder wird in der robots.txt getrennt gesteuert. Wenn ChatGPT deine Seiten zitieren können soll, empfiehlt die Hilfe von OpenAI, OAI-SearchBot nicht zu blockieren. Ihn zuzulassen, garantiert nicht, dass du erscheinst: Es verhindert nur, dass dich eine Regel ausschließt.
Mehr dazu: Was GEO ist und was es wirklich für eine Marke leisten kann.