Przejdź do treści
PLEN
Zaloguj się

FiblyBot

FiblyBot to robot, którego Fibly używa do czytania stron internetowych dodanych przez naszych klientów jako źródło wiedzy dla ich asystenta AI.

Do czego służy FiblyBot

Klient Fibly może wskazać swoją stronę jako źródło wiedzy. Asystent AI do obsługi klienta odpowiada wtedy na pytania na podstawie treści tej strony.

FiblyBot odwiedza stronę tylko wtedy, gdy klient Fibly ją dodał. Nie przeszukuje internetu na własną rękę.

Jak rozpoznać FiblyBot

Nagłówek User-Agent ma postać:

FiblyBot/1.0 (+https://fibly.pl/crawler)

Nazwa (token) w pliku robots.txt to FiblyBot.

robots.txt

FiblyBot przestrzega pliku robots.txt. Respektuje reguły Disallow dla FiblyBot (lub dla *) oraz dyrektywę Crawl-delay.

Zablokowanie FiblyBot na całej stronie

User-agent: FiblyBot
Disallow: /

Spowolnienie FiblyBot

User-agent: FiblyBot
Crawl-delay: 10

Ta reguła ustawia odstęp co najmniej 10 sekund między żądaniami.

Jak FiblyBot zachowuje się wobec Twojej strony

  • Wysyła jedno żądanie naraz do jednej domeny. Przy pierwszym pobraniu strony wysyła najwyżej 2 żądania na sekundę, a przy codziennym odświeżaniu najwyżej jedno żądanie na 2 sekundy.
  • Używa żądań warunkowych (If-None-Match i If-Modified-Since), więc strony, które się nie zmieniły, obciążają serwer w minimalnym stopniu.
  • Pobiera tylko strony HTML i mapy witryny (sitemap). Nie uruchamia JavaScriptu, nie wysyła formularzy i nie loguje się.
  • Odświeża stronę mniej więcej raz dziennie. Dla jednej strony pobiera maksymalnie kilkaset podstron.

Kontakt

Jeśli masz pytania albo chcesz zgłosić problem z FiblyBot, napisz na adres [email protected] lub skorzystaj ze strony kontaktu.