Empirical analysis of early-exit HTTP bot mitigation on server load [German]

UJ-FLD-ScrTr1 pts0 comments

Stromverbrauchs- und CO₂-Ausstoß-Verringerung durch Botmitigation und Anti-Scraping. Modellrechnungen auf empirischer Datenbasis | Zenodo

Skip to main

You are using an outdated browser. Please upgrade your browser to improve your experience.

Published August 19, 2026

| Version 2.0.0

Technical note

Open

Stromverbrauchs- und CO₂-Ausstoß-Verringerung durch Botmitigation und Anti-Scraping. Modellrechnungen auf empirischer Datenbasis

Authors/Creators

Janatzek, Uwe

Description

Automatisierte Skripte und Softwareprozesse (Bots) wie Scraper, Exploiter, KI-Crawler und Search-Bots machen einen kontinuierlich wachsenden Anteil des globalen Datenverkehrs aus. Dieser maschinelle Traffic verursacht nicht nur Sicherheits- und Urheberrechtsprobleme, sondern bindet erhebliche Serverressourcen und führt zu messbaren ökologischen sowie ökonomischen Belastungen durch erhöhten Stromverbrauch und CO₂-Ausstoß.

Die vorliegende Arbeit untersucht das Einsparungspotenzial von Botmitigations- und Anti-Scraping-Maßnahmen im Rahmen von Green-IT-Ansätzen. Auf Basis empirischer Server-Logdaten einer Fachwebsite sowie vergleichender Modellrechnungen für verbreitete Content-Management- und Shop-Systeme (u. a. Shopware, XenForo, WordPress) wird die Auswirkung einer serverseitigen Bot-Abwehr (ScrapTrap) analysiert.

Die Ergebnisse belegen, dass eine gezielte Unterbindung unautorisierter Bot-Zugriffe die Datenübertragungsmenge trotz steigender Gesamtzugriffszahlen um bis zu 70 % verringern kann. Dies führt zu einer direkten Reduktion der Datenzentrums- und Transport-Stromverbräuche sowie der damit verbundenen Emissionen. Ergänzend werden verdeckte Infrastrukturkosten für Rechenzentren und Hoster – darunter CPU-Auslastung, Kühlung, Hardwareverschleiß und Supportaufwand – quantifiziert. Es zeigt sich, dass serverseitiges Bot-Blocking einen wirksamen und ökonomisch lukrativen Beitrag zum digitalen Umweltschutz und zur Ressourceneffizienz darstellen kann.

Abstract

(German)

Diese Arbeit untersucht anhand empirischer Logdaten und modellhafter Hochrechnungen, wie automatisierte Botzugriffe – darunter Scraper, Exploiter, KI‑Crawler und Headless‑Browser – den Stromverbrauch und die Datenlast von Webservern erhöhen. Auf Basis mehrmonatiger Messungen sowie Vergleichsrechnungen für verbreitete Websysteme (Shopware, WordPress, XenForo) wird gezeigt, dass serverseitige Botmitigation den übertragenen Traffic trotz steigender Zugriffszahlen um bis zu 70 % reduzieren kann. Die Studie quantifiziert die daraus resultierenden Einsparungen bei Datenübertragung, Energiebedarf und CO₂‑Emissionen und zeigt, dass präzise Bot‑Abwehr einen messbaren Beitrag zur Ressourceneffizienz und zur Reduktion unnötiger Serverlast leisten kann. ScrapTrap dient dabei als Messinstrument, das den realen HTTP‑Datenfluss vor der CMS‑Verarbeitung erfasst und belastbare Grundlagen für technische und ökologische Bewertungen automatisierter Zugriffe liefert.

Abstract

(English)

Automated scripts and software processes (bots) such as scrapers, exploiters, AI crawlers and headless browsers account for a continuously growing share of global web traffic. This machine‑generated traffic not only causes security and copyright issues but also consumes significant server resources, leading to measurable ecological and economic impacts through increased energy usage and CO₂ emissions. This study analyses the reduction potential of server‑side bot mitigation based on empirical log data and model calculations for common web systems. The results show that targeted bot blocking can reduce data transfer volumes by up to 70 % despite rising request numbers, thereby lowering server load and associated emissions.

Other

(English)

This work examines how automated bot traffic increases server load, energy consumption and CO₂ emissions, and how server‑side bot mitigation can significantly reduce these effects. Using empirical log data and model calculations for common web platforms, the study demonstrates that blocking scrapers and AI bots can reduce data transfer by up to 70 %. The results provide a technical and quantitative basis for evaluating the ecological and economic impact of automated web requests.

Files

Stromverbrauchs- und CO2-Ausstoß-Verringerung durch Botmitigation und Anti-Scraping. Modellrechnungen auf empirischer Datenbasis-v2.pdf

Files<br>(1.7 MB)

Name<br>Size

Download all

Stromverbrauchs- und CO2-Ausstoß-Verringerung durch Botmitigation und Anti-Scraping. Modellrechnungen auf empirischer Datenbasis-v2.pdf

md5:fdd10e4ab2af52886e8409f1913a4e87

1.7 MB

Preview

Download

Additional details

Dates

Created

2026-07-02

14

Views

Downloads

Show more details

All versions<br>This version

Views

Total views

14

Downloads

Total downloads

Data volume

Total data volume

0 Bytes<br>0 Bytes

More info on how stats are collected....

Versions

External...

uuml server ouml empirischer data aussto

Related Articles