# ============================================================================ # robots.txt allmeblo.pl # Aktualizacja 2026-08-04: swiadome, jawne ustawienie regul dla botow # asystentow AI (ChatGPT, Claude, Perplexity, Gemini, Copilot, Apple). # # WAZNE przy kazdej przyszlej edycji tego pliku: # bot, ktory ma wlasna grupe "User-agent:", czyta WYLACZNIE swoja grupe # i calkowicie ignoruje grupe "User-agent: *". Dlatego grupa botow AI ponizej # powtarza komplet regul Disallow z grupy ogolnej. Jesli dopiszesz nowa regule # w grupie ogolnej, dopisz ja rowniez w grupie botow AI, inaczej boty AI zaczna # indeksowac koszyk, wyszukiwarke i strony konta klienta. # # WYNIK AUDYTU 2026-08-09 (test praktyczny curl -A dla 24 user-agentow, # strona glowna + kategoria + karta produktu): # - zaden bot AI nie jest blokowany. Wszystkie zwracaja 200 z rozmiarem tresci # identycznym jak zwykla przegladarka (home 164621 B, kategoria 302482 B, # produkt 1048384 B). Jedyne 403 to Bytespider - swiadoma blokada w nginx. # - Googlebot/msnbot dostaja ok. 9 kB mniej HTML niz przegladarka; to efekt # pominiecia skryptow zgody na cookies, nie blokady tresci. # - Boty pod adresem Googlebota/Bingbota NIE maja tu wlasnej grupy i celowo # nie powinny jej dostac: siedza pod "User-agent: *", wiec kazde przyszle # zaostrzenie regul ogolnych obejmie je automatycznie. # # UWAGA przy czytaniu logow: w logach nginx wystepuje skaner podatnosci # podszywajacy sie pod UA botow AI (Claude-SearchBot, Claude-User, # Perplexity-User, cohere-ai, Diffbot, Applebot-Extended, Google-Extended) # z adresow Google Cloud 34.*/35.*. Odpytuje /.env, /.aws/credentials, # /secrets.json i dostaje 404. To NIE sa prawdziwe boty AI i ich 404 nie # swiadcza o zadnym problemie z dostepnoscia sklepu. Prawdziwe boty OpenAI # przychodza z 74.7.*, Anthropic i Perplexity z wlasnych zakresow ASN. # ============================================================================ # --- 1. Reguly ogolne (Googlebot, Bingbot i cala reszta) -------------------- User-agent: * # Allow Directives Allow: */modules/*.css Allow: */modules/*.js Allow: */modules/*.png Allow: */modules/*.jpg Allow: /js/jquery/* # Private pages Disallow: /*?order= Disallow: /*?tag= Disallow: /*?id_currency= Disallow: /*?search_query= Disallow: /*?back= Disallow: /*?n= Disallow: /*&order= Disallow: /*&tag= Disallow: /*&id_currency= Disallow: /*&search_query= Disallow: /*&back= Disallow: /*&n= Disallow: /*controller=addresses Disallow: /*controller=address Disallow: /*controller=authentication Disallow: /*controller=cart Disallow: /*controller=discount Disallow: /*controller=footer Disallow: /*controller=get-file Disallow: /*controller=header Disallow: /*controller=history Disallow: /*controller=identity Disallow: /*controller=images.inc Disallow: /*controller=init Disallow: /*controller=my-account Disallow: /*controller=order Disallow: /*controller=order-slip Disallow: /*controller=order-detail Disallow: /*controller=order-follow Disallow: /*controller=order-return Disallow: /*controller=order-confirmation Disallow: /*controller=pagination Disallow: /*controller=password Disallow: /*controller=pdf-invoice Disallow: /*controller=pdf-order-return Disallow: /*controller=pdf-order-slip Disallow: /*controller=product-sort Disallow: /*controller=search Disallow: /*controller=statistics Disallow: /*controller=attachment Disallow: /*controller=guest-tracking # Directories for localhost Disallow: /presta-duka/app/ Disallow: /presta-duka/cache/ Disallow: /presta-duka/classes/ Disallow: /presta-duka/config/ Disallow: /presta-duka/controllers/ Disallow: /presta-duka/download/ Disallow: /presta-duka/js/ Disallow: /presta-duka/localization/ Disallow: /presta-duka/log/ Disallow: /presta-duka/mails/ Disallow: /presta-duka/modules/ Disallow: /presta-duka/override/ Disallow: /presta-duka/pdf/ Disallow: /presta-duka/src/ Disallow: /presta-duka/tools/ Disallow: /presta-duka/translations/ Disallow: /presta-duka/upload/ Disallow: /presta-duka/var/ Disallow: /presta-duka/vendor/ Disallow: /presta-duka/webservice/ # Files Disallow: /bez-kategorii-custom/* Disallow: /indywidualne-meble-tapicerowane/* Disallow: /*en/password-recovery Disallow: /*en/address Disallow: /*en/addresses Disallow: /*en/login Disallow: /*en/cart Disallow: /*en/discount Disallow: /*en/order-history Disallow: /*en/identity Disallow: /*en/my-account Disallow: /*en/order-follow Disallow: /*en/credit-slip Disallow: /*en/order Disallow: /*en/search Disallow: /*en/guest-tracking Disallow: /*en/order-confirmation Disallow: /zamowienie/* Disallow: /zamówienie/* Disallow: /modules/* # Smieciowy crawl z linkow rekomendacyjnych edrone (dodane 2026-08-09). # Pomiar na 4 tygodniach logow: 2581 z 9191 zadan Googlebota (28,1%) szlo na # adresy z parametrem rr_id -- 2493 unikalne adresy dla zaledwie 48 kart # produktow (ok. 53 kopie kazdej karty). Kazdy taki adres ma poprawny canonical, # wiec indeks byl czysty, ale budzet crawlowania przepadal. # Tych linkow NIE ma w HTML sklepu ani w zadnej sitemapie (sprawdzone) -- # Google zna je wylacznie z zewnetrznych zrodel (maile i widgety edrone), # wiec robots.txt jest jedynym skutecznym narzedziem. # Zadna strona nie jest osiagalna WYLACZNIE przez taki adres: wszystkie 48 # kart produktow zwraca 200 pod czystym adresem i siedzi w sitemapie. Disallow: /*rr_id= # Wszystkie zaobserwowane adresy z utm_ mialy rowniez rr_id i utm_source=edrone. # Celowo NIE blokujemy calego /*utm_ -- to zablokowaloby przyszle wlasne # kampanie (newsletter, social, porownywarki) bez zadnego zmierzonego zysku. # Blokujemy wylacznie zrodlo, ktore generuje smiec. Disallow: /*utm_source=edrone # --- 2. Boty asystentow AI: wpuszczone swiadomie ---------------------------- # Cel: sklep ma byc cytowany w odpowiedziach asystentow AI. Zakres dostepu # jest dokladnie taki sam jak dla Googlebota (reguly ponizej sa kopia grupy 1). # GPTBot: OpenAI, zbieranie danych do trenowania modeli GPT # OAI-SearchBot: OpenAI, indeks wyszukiwarki w ChatGPT # ChatGPT-User: OpenAI, pobranie strony na zadanie uzytkownika ChatGPT # ClaudeBot: Anthropic, crawler Claude # Claude-User: Anthropic, pobranie strony na zadanie uzytkownika Claude # Claude-SearchBot: Anthropic, indeks wyszukiwania Claude # anthropic-ai: Anthropic, starsza nazwa agenta # PerplexityBot: Perplexity, indeks odpowiedzi # Perplexity-User: Perplexity, pobranie strony na zadanie uzytkownika # Google-Extended: Google, zgoda na uzycie tresci w Gemini i AI Overviews # Applebot-Extended: Apple, zgoda na uzycie tresci w Apple Intelligence # Amazonbot: Amazon, Alexa i asystent zakupowy # DuckAssistBot: DuckDuckGo, asystent DuckAssist # meta-externalagent: Meta, AI oraz podglady linkow na Facebooku (limitowany w nginx do 5 zad/min) # meta-externalfetcher: Meta, drugi oficjalny UA - pobranie strony na zadanie uzytkownika # CCBot: Common Crawl, korpus na ktorym trenowana jest wiekszosc modeli jezykowych # (2026-08-09: 547 zadan w 4 tygodniach logow, zero obciazenia - zostaje wpuszczony) User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-User User-agent: Claude-SearchBot User-agent: anthropic-ai User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: Amazonbot User-agent: DuckAssistBot User-agent: meta-externalagent User-agent: meta-externalfetcher User-agent: CCBot # Allow Directives Allow: */modules/*.css Allow: */modules/*.js Allow: */modules/*.png Allow: */modules/*.jpg Allow: /js/jquery/* # Private pages Disallow: /*?order= Disallow: /*?tag= Disallow: /*?id_currency= Disallow: /*?search_query= Disallow: /*?back= Disallow: /*?n= Disallow: /*&order= Disallow: /*&tag= Disallow: /*&id_currency= Disallow: /*&search_query= Disallow: /*&back= Disallow: /*&n= Disallow: /*controller=addresses Disallow: /*controller=address Disallow: /*controller=authentication Disallow: /*controller=cart Disallow: /*controller=discount Disallow: /*controller=footer Disallow: /*controller=get-file Disallow: /*controller=header Disallow: /*controller=history Disallow: /*controller=identity Disallow: /*controller=images.inc Disallow: /*controller=init Disallow: /*controller=my-account Disallow: /*controller=order Disallow: /*controller=order-slip Disallow: /*controller=order-detail Disallow: /*controller=order-follow Disallow: /*controller=order-return Disallow: /*controller=order-confirmation Disallow: /*controller=pagination Disallow: /*controller=password Disallow: /*controller=pdf-invoice Disallow: /*controller=pdf-order-return Disallow: /*controller=pdf-order-slip Disallow: /*controller=product-sort Disallow: /*controller=search Disallow: /*controller=statistics Disallow: /*controller=attachment Disallow: /*controller=guest-tracking # Directories for localhost Disallow: /presta-duka/app/ Disallow: /presta-duka/cache/ Disallow: /presta-duka/classes/ Disallow: /presta-duka/config/ Disallow: /presta-duka/controllers/ Disallow: /presta-duka/download/ Disallow: /presta-duka/js/ Disallow: /presta-duka/localization/ Disallow: /presta-duka/log/ Disallow: /presta-duka/mails/ Disallow: /presta-duka/modules/ Disallow: /presta-duka/override/ Disallow: /presta-duka/pdf/ Disallow: /presta-duka/src/ Disallow: /presta-duka/tools/ Disallow: /presta-duka/translations/ Disallow: /presta-duka/upload/ Disallow: /presta-duka/var/ Disallow: /presta-duka/vendor/ Disallow: /presta-duka/webservice/ # Files Disallow: /bez-kategorii-custom/* Disallow: /indywidualne-meble-tapicerowane/* Disallow: /*en/password-recovery Disallow: /*en/address Disallow: /*en/addresses Disallow: /*en/login Disallow: /*en/cart Disallow: /*en/discount Disallow: /*en/order-history Disallow: /*en/identity Disallow: /*en/my-account Disallow: /*en/order-follow Disallow: /*en/credit-slip Disallow: /*en/order Disallow: /*en/search Disallow: /*en/guest-tracking Disallow: /*en/order-confirmation Disallow: /zamowienie/* Disallow: /zamówienie/* Disallow: /modules/* # Kopia reguly z grupy 1 (patrz uzasadnienie tam). Bot z wlasna grupa czyta # tylko swoja grupe, wiec bez tego powtorzenia boty AI dalej mielilyby # ~53 kopie kazdej karty produktu z parametrami edrone. Disallow: /*rr_id= Disallow: /*utm_source=edrone # --- 3. Boty niepozadane: zablokowane w calosci ----------------------------- # Skrobia tresc lub obciazaja serwer, nie przynoszac ruchu ani cytowan. # ByteDance/TikTok, zero ruchu zwrotnego (Doubao niedostepne w PL), blokowany takze w nginx (403). # Weryfikacja 2026-08-09 na 4 tygodniach logow: 3887 zadan, szczyt 635/dobe (13.07), # po wdrozeniu blokady 31.07 praktycznie same 403. Obciazenie samo w sobie nie bylo duze, # blokada zostaje z powodu zerowej wartosci ruchowej i ignorowania robots.txt przez ten UA. # Zanotowane: 5.08.2026 przeszlo 110 zadan ze statusem 200/206 mimo blokady - to dzien # przebudowy vhosta (kilka backupow nginx.conf z tego dnia), czyli chwilowy rozjazd konfiguracji, # a nie obejscie reguly. Stan na 2026-08-09 zweryfikowany curl-em: 403. User-agent: Bytespider Disallow: / # Huawei/Petal Search, brak realnego ruchu z tego zrodla, blokowany takze w nginx (403) User-agent: PetalBot Disallow: / # Majestic, crawler SEO obcych narzedzi, tylko obciazenie serwera User-agent: MJ12bot Disallow: / # Ahrefs, crawler SEO obcych narzedzi, tylko obciazenie serwera User-agent: AhrefsBot Disallow: / # Semrush, crawler SEO obcych narzedzi, tylko obciazenie serwera User-agent: SemrushBot Disallow: / # Moz, crawler SEO obcych narzedzi, tylko obciazenie serwera User-agent: DotBot Disallow: / # --- 4. Mapy witryny -------------------------------------------------------- Sitemap: https://allmeblo.pl/sitemap-with-images-index.xml Sitemap: https://allmeblo.pl/sitemap-kolekcje.xml Sitemap: https://allmeblo.pl/as4_seositemap-2.xml # Baza wiedzy /pomoc/ (dodane 2026-08-13). Audyt kanonikali wykazal, ze wszystkie # 110 adresow zwraca 200 i jest self-canonical, ale nie bylo ich w ZADNEJ mapie, # a 71 z nich mialo zerowa widocznosc. Generator: alm_sitemap_pomoc.php, cron 04:25. Sitemap: https://allmeblo.pl/sitemap-pomoc.xml # Blog (osobna instalacja WordPress + Rank Math, indeks map wlasny): Sitemap: https://allmeblo.pl/blog/sitemap_index.xml # --- 5. Wizytowka dla modeli jezykowych ------------------------------------- # Skrocony, faktograficzny opis sklepu w formacie llms.txt: # https://allmeblo.pl/llms.txt