NomadicExpertsBot
Il crawler di NomadicExperts: chi siamo, cosa leggiamo e come escluderlo.
Chi siamo
NomadicExpertsBot è gestito da Zakomo FZCO, Dubai, per NomadicExperts, un servizio che aiuta professionisti senior a trovare incarichi freelance e a contratto. Legge una volta al giorno gli annunci di lavoro pubblici di agenzie di staffing e piattaforme di progetti.
User-Agent
Le nostre richieste riportano questa stringa User-Agent:
NomadicExpertsBot/0.1 (+https://nomadicexperts.com/bot; low-volume daily job index)
Il product token per le regole del robots.txt è NomadicExpertsBot
Cosa leggiamo e come
- Solo pagine pubbliche con annunci di lavoro, oltre a sitemap e robots.txt. Niente login, niente paywall, niente moduli.
- Il robots.txt viene letto prima di qualsiasi pagina; il suo Crawl-delay viene rispettato e una regola che nomina NomadicExpertsBot viene sempre seguita.
- Non tentiamo mai di aggirare controlli anti-bot, captcha o controlli di accesso. Un sito che ci blocca viene lasciato in pace.
- Le richieste a ciascun sito avvengono una dopo l'altra, con volumi ridotti, e ogni pagina viene scaricata una sola volta.
- Tra due richieste allo stesso sito facciamo una pausa di almeno 3 secondi.
Cosa mostriamo
Mostriamo solo il titolo, i dati principali come luogo, tariffa, modalità di lavoro e data di inizio, e un link al suo annuncio originale. Non ripubblichiamo il testo completo.
I candidati si candidano sul suo sito: il link li indirizza a lei.
Come escluderci
Per impedirci di leggere il suo sito, aggiunga al suo robots.txt una regola per il nostro product token. La rispettiamo dalla visita successiva:
User-agent: NomadicExpertsBot
Disallow: /
Oppure ci scriva indicando il suo dominio; disattiveremo il suo sito e ne rimuoveremo gli annunci: [email protected]
Se preferisce invece che i suoi annunci raggiungano più professionisti senior, ci scriva comunque — ad esempio per un feed.
Nella pagina delle fonti descriviamo i tipi di siti che leggiamo.