Tag
robots.txt
Wpisy na blogu Outofplace oznaczone tagiem „robots.txt”, od najnowszych: badania i notatki niezależnego studia produktowego.
Sortuj według
- Wyszukiwanie i AISitemap w robots.txt: co trzeci polski plik go pomija35% z 6834 polskich stron z plikiem robots.txt nie wskazuje w nim mapy strony, a 6% wskazujących podaje zły adres: http, bliźniaka z www lub ścieżkę względną.
- Wyszukiwanie i AIBoty AI kontra polski internet: robots.txt 1000 stron .plSprawdziliśmy plik robots.txt 1000 największych stron .pl: co piąta blokuje boty AI, głównie treningowe jak GPTBot, rzadko wyszukiwarki AI. Jak to rozdzielić?
Napisz, co budujemy.
Odpowiadamy w ciągu jednego dnia roboczego.