FitzAgent, il nostro agente
Aggiornato il
Bozza in revisione: questo testo non è ancora definitivo.
FitzAgent è il programma con cui Fitz legge i negozi online quando una persona gli chiede di cercare un capo. Qui spieghiamo cosa legge, con che ritmo e come fermarlo.
Chi è
Quando una persona chiede a Fitz un capo, il nostro server legge in quel momento i cataloghi di alcuni negozi e le propone quello che trova, con il link alla pagina del prodotto sul negozio. Fitz non vende niente: chi compra, compra dal negozio.
Si presenta con lo user-agent FitzAgent/0.1, seguito dal link a questa pagina.
Cosa legge
Solo quello che serve a quella ricerca.
- Le ricerche e le pagine pubbliche dei prodotti: mai carrelli, account o pagamenti.
- Sui negozi Shopify, gli indirizzi per agenti che il negozio stesso dichiara, presentandosi con il nostro profilo agente, pubblicato su questo sito.
- Una ricerca per volta, quando una persona la chiede: niente scansioni del sito e niente copie del catalogo.
Le regole che segue
Le applica il codice, a ogni richiesta.
- Rispetta robots.txt: il gruppo che nomina FitzAgent, altrimenti quello valido per tutti. Se robots.txt non risponde, non legge il sito.
- Al massimo una richiesta al secondo per negozio, contando tutti i nostri server insieme.
- Se il negozio risponde 403 o 429, si ferma per 10 minuti senza riprovare.
- Non tiene copie: rilegge una stessa pagina al massimo dopo 90 secondi, e le risposte per agenti dei negozi Shopify non le conserva.
Come fermarlo
Basta aggiungere due righe al robots.txt del sito: User-agent: FitzAgent e Disallow: /. FitzAgent rilegge robots.txt al più tardi ogni sei ore, e da lì non legge più il sito.