selleri.de

Väldigt ofta denna grej senaste tiden.

504 Gateway Time-out
nginx/1.24.0 (Ubuntu)

Tack för rapport. Tog mig en titt och vi får ett *stort* antal requests till forum-sidor varje sekund från en massa olika IP-adresser ägda av Tencent. Vår stackars mysql-db hinner inte med.

Jag har blockat av de nät som allt detta kommer från och hoppas det ska räcka så. Är de envisa kommer det dyka upp samma sak från andra IP:n och det är en katt-och-råtta-lek jag inte riktigt har tid med tyvärr. Så, fingers crossed...

Har samma problem hos många kunder. Det skrapas innehåll från nätet för att träna ai-modeller.
Eftersom robotarna varken respekterar robots.txt och går så våldsamt fram så hänger inte webbservrarna med.

Cloudflare kan vara till stor hjälp med avlastning av trafik.
Jag tweakade mycket MySQL och PHP för ett par månader sedan just pga detta.
Det är bara att hojta till så kan jag skicka lite förslag på konfigurationer.

Här är ett intressant projekt (finns liknande man kan köra inhouse):
Man lurar in robotarna i en labyrint, som genererar
fejkade länkar med nonsens, som robotarna följer i all oändlighet (utan att belasta databasen):
https://blog.cloudflare.com/ai-labyrinth/

_________________
-- EADSM / LP12 Ittok Adikt / Akurate Tunebox / M6100 / A4200 / K600-K400 / A242 --