AlgorithmNewsBot

AlgorithmNewsBot este robotul serviciului nostru de monitorizare a presei. Citește feed-urile RSS publice ale publicațiilor și anunță clienții noștri (instituții, firme, agenții de comunicare) când apare un articol despre subiectele urmărite de ei.

Ce citește

• Feed-urile RSS sau Atom publicate de redacție, cu cereri condiționate (ETag, Last-Modified): de obicei o cerere la câteva minute, cu răspuns „nemodificat” când nu e nimic nou.
• Pagina fiecărui articol nou, o singură dată, ca o căutare să găsească și cuvintele din textul articolului, nu doar din titlu. Textul e folosit numai pentru căutare și nu este republicat.

Clienții primesc titlul, un scurt fragment și linkul către articolul original: cititorii ajung pe site-ul dumneavoastră.

Cum se poartă

• Respectă robots.txt: regulile pentru AlgorithmNewsBot, iar dacă nu există, pe cele pentru *, inclusiv Crawl-delay.
• Face o singură cerere odată către un site, cu cel puțin o secundă între ele (sau cât cere Crawl-delay).
• La 429 Too Many Requests (sau 503 cu Retry-After) se oprește și revine abia după intervalul cerut.
• Nu trimite formulare, nu se autentifică și nu încearcă să treacă de verificări anti-bot.

Cum îl recunoașteți

User-agent:

AlgorithmNewsBot/1.0 (+https://algorithmnews.ro/robot)

Fiecare cerere este semnată criptografic după standardul Web Bot Auth (HTTP Message Signatures, RFC 9421, cu cheie Ed25519). Antetul Signature-Agent are valoarea "https://algorithmnews.ro", iar cheia publică este aici:

https://algorithmnews.ro/.well-known/http-message-signatures-directory

Cererile pleacă de pe adresa IP 2.31.109.94.

Dacă vreți să-l opriți sau să-l lăsați să treacă

Pentru a-l opri, adăugați în robots.txt:

User-agent: AlgorithmNewsBot
Disallow: /

Dacă protecția anti-bot a site-ului (de exemplu Cloudflare) îi blochează accesul la feed, îl puteți lăsa să treacă după semnătură sau după adresa IP de mai sus. Pentru orice întrebare ne găsiți la contact@algorithmnews.ro.

In English

AlgorithmNewsBot is the crawler of AlgorithmNews, a Romanian press-monitoring service. It polls publishers' public RSS/Atom feeds with conditional requests and reads each new article page once, to index its text for our clients' keyword alerts. The text is never republished: alerts carry the headline, a short excerpt and a link to the original article. It honours robots.txt (including Crawl-delay), makes one request at a time per site, and backs off on 429 and Retry-After. Requests are signed with Web Bot Auth (Signature-Agent "https://algorithmnews.ro", key directory above) and come from 2.31.109.94.