SWYK-PageCheck
Czym jest SWYK-PageCheck
SWYK-PageCheck to program serwisu SWYK, który pobiera pojedyncze strony kategorii sklepów internetowych zgłoszone przez użytkowników SWYK i sprawdza, czy dana strona jest stroną kategorii sklepu (na przykład jak się nazywa kategoria i ile mniej więcej zawiera produktów). Projekt jest w fazie testów.
Jak się przedstawia
Każde żądanie wysyłamy z nagłówkiem User-Agent:
SWYK-PageCheck/0.1 (+https://swyk.pl/bot.html)
Bot nigdy nie podaje się za przeglądarkę.
Jak działa
- Przed pobraniem strony pobiera plik
robots.txtdanej witryny i stosuje się do niego. Jeśli serwer na żądanierobots.txtodpowie kodem 401, 403 lub 429, błędem serwera albo nie odpowie, bot traktuje to jako zakaz i niczego nie pobiera. - Nie loguje się, nie wysyła ciasteczek ani danych uwierzytelniających i nie wykonuje JavaScriptu.
- Nie obchodzi żadnych zabezpieczeń. Gdy strona wymaga captcha, pokazuje ochronę antybotową albo odpowiada kodem 401, 403 lub 429, bot zatrzymuje się i nie ponawia próby.
- Pobiera pojedyncze strony, bez przeszukiwania całej witryny. Każdy adres pobiera najwyżej raz na jedno sprawdzenie i nie podąża za przekierowaniami do innych domen.
- W fazie testów pobrania są pojedyncze i uruchamiane ręcznie. Zanim pobieranie zostanie udostępnione
w serwisie, obowiązywać będą limity:
- co najmniej 10 sekund przerwy między żądaniami do tej samej domeny;
- najwyżej 1 sprawdzenie tego samego zgłoszenia na godzinę;
- najwyżej 20 pobrań na użytkownika SWYK na dobę;
- najwyżej 100 pobrań łącznie na dobę.
Dane
Treść pobranej strony jest przetwarzana tylko w pamięci na czas analizy. Nie zapisujemy jej na dysku ani w logach. Zachowujemy wyłącznie skrót kryptograficzny (SHA-256) treści, jej rozmiar i wynik analizy (np. nazwę kategorii i szacunkową liczbę produktów). Bot nie gromadzi danych osobowych.
Jak zablokować bota
Wystarczy dodać do pliku robots.txt wpis z jedną z nazw SWYK-PageCheck albo SWYK
(wielkość liter nie ma znaczenia), na przykład:
User-agent: SWYK-PageCheck Disallow: / User-agent: SWYK Disallow: /
Można też poprosić o wykluczenie domeny, pisząc na kontakt@swyk.pl. Domenę dopisujemy wtedy do listy domen wykluczonych z pobierania.
Kontakt
SWYK-PageCheck (English summary)
SWYK-PageCheck is the page checker of the SWYK service. It fetches single shop category pages submitted by SWYK users to recognise the category (its name and approximate number of products). The project is in a testing phase.
User-Agent: SWYK-PageCheck/0.1 (+https://swyk.pl/bot.html). It never pretends to be a browser.
- It obeys
robots.txt. A 401, 403 or 429 response, a server error or no answer forrobots.txtis treated as a disallow. - It does not log in, send cookies or credentials, or run JavaScript. It never bypasses protections and stops on captchas, anti-bot challenges and 401/403/429 responses, without retrying.
- It fetches single pages only. During testing, fetches are single and started manually. Before fetching is offered in the service, these limits will apply: at least 10 seconds between requests to the same domain, at most 1 check of the same submission per hour, at most 20 fetches per SWYK user per day and at most 100 fetches in total per day.
- Page content is processed in memory only and is never written to disk or logs. Only a SHA-256 hash, the size and the analysis result are kept. No personal data is collected.
- To block it, add a
robots.txtgroup forSWYK-PageCheckorSWYK(case-insensitive) withDisallow: /, or ask for an opt-out at kontakt@swyk.pl.