Advitics-Atlas er en lesende nettrobot drevet av Covision Technology AS. Den samler inn offentlig tilgjengelig bedriftsinformasjon for nordisk SMB-markedsintelligens. Denne siden gjør det enkelt for nettstedsoperatører å forstå og om ønskelig stanse innsamlingen.
Per domene. Ber robots.txt om lengre pause med Crawl-delay, venter crawleren så lenge. Når vi leter etter et foretaks nettside, følger vi også Crawl-delay. Åpnes en side i nettleser, henter nettleseren også sidens skript, stilark og dataforespørsler.
Crawleren leser robots.txt og følger Disallow- og Crawl-delay-direktiver. Når vi får lest robots.txt, virker en endring senest etter et døgn.
Vanligvis leses bare HTML fra HTTP-svaret. Viser en side innholdet bare med JavaScript, hentes den i en nettleser uten skjerm. Når vi leter etter nettstedet til et foretak, åpnes kandidatsidene og kontaktsidene alltid i nettleseren. Nettleseren starter tom hver gang, så ingen informasjonskapsler tas vare på mellom besøkene.
Crawleren sender aldri legitimasjonsopplysninger og henter aldri innhold bak innloggingsvegger.
