liberapay
PayPalDa in letzter Zeit die Abfragen von Bots und Crawlern immer mehr angestiegen sind und somit auch das System unserer Instanz belastet hat (wenn auch minimal), haben wir uns dazu entschieden diese nun von unserem System auszuschließen.
Da sich nicht alle Bots und Crawler an die Bitte und nichts anderes ist die robots.txt halten, haben wir uns entschieden sie via Fail2ban und Firewall ganz auszusperren.
Vor allem Meta fühlt sich nicht verpflichtet sich an die Bitte zuhalten und ignoriert die robtos.txt.
Der Crawler Meta-ExternalFetcher kann die robots.txt-Datei umgehen, da er von Nutzer*innen angeforderte Abrufe durchführt. Auch der Crawler FacebookExternalHit kann die robots.txt-Datei umgehen, wenn er Sicherheits- oder Integritätsprüfungen durchführt.
Quelle: https://developers.facebook.com/docs/sharing/webmasters/web-crawlers?locale=de_DE#identify-4
Wir haben die Konfiguration so angelegt das auch wirklich nur Bots und Crawler ausgesperrt werden. Sollte es jedoch zu Fehlern kommen und auch ihr als User ausgesperrt werden dann schickt uns bitte eine Mail an admin@sekretaerbaer.de.
In den nächsten Tagen werden wir auch eine Liste mit allen gesperrten Bots und Crawlern veröffentlichen.