NomadicExpertsBot
O crawler por trás da NomadicExperts: quem somos, o que lemos e como ficar de fora.
Quem somos
O NomadicExpertsBot é operado pela Zakomo FZCO, Dubai, para a NomadicExperts, um serviço que ajuda profissionais sénior por contrato a encontrar projetos freelance e por contrato. Lê uma vez por dia os anúncios públicos de agências de recrutamento e plataformas de projetos.
User-Agent
Os nossos pedidos usam este User-Agent:
NomadicExpertsBot/0.1 (+https://nomadicexperts.com/bot; low-volume daily job index)
O token de produto para regras no robots.txt é NomadicExpertsBot
O que lemos e como
- Apenas páginas públicas com anúncios de emprego, além de sitemaps e do robots.txt. Sem logins, sem paywalls, sem formulários.
- O robots.txt é lido antes de qualquer página; o seu Crawl-delay é respeitado e uma regra que nomeie o NomadicExpertsBot é sempre seguida.
- Nunca tentamos contornar verificações anti-bot, captchas ou controlos de acesso. Um site que nos bloqueia é deixado em paz.
- Os pedidos são feitos um a um por site, em volume reduzido, e cada página é obtida uma só vez.
- Fazemos uma pausa de pelo menos 3 segundos entre pedidos ao mesmo site.
O que mostramos
Mostramos apenas o título, os dados principais, como local, tarifa, modalidade de trabalho e data de início, e um link para o seu anúncio original. Não republicamos o texto completo.
Os candidatos candidatam-se no seu site, por isso o link envia-os para si.
Como ficar de fora
Para deixarmos de ler o seu site, adicione ao seu robots.txt uma regra para o nosso token de produto. Respeitamo-la a partir da nossa próxima visita:
User-agent: NomadicExpertsBot
Disallow: /
Ou escreva-nos indicando o seu domínio; desativamos o seu site e removemos os respetivos anúncios: [email protected]
Se preferir que os seus anúncios cheguem a mais profissionais sénior por contrato, escreva-nos também — por exemplo, sobre um feed.
Na página de fontes descrevemos os tipos de sites que lemos.