Guild-Rosters und Social Tags von WoWProgress scrapen — mit automatischem Cloudflare-Bypass via Playwright
WoWProgress schützt seine Seiten mit Cloudflare-Challenges, was traditionelles HTTP-Scraping unmöglich macht. Dieses Tool nutzt Playwright mit einem echten Chromium-Browser, löst die Challenge automatisch und extrahiert Gilden-Rosters inklusive Social-Media-Handles — gebaut für Gildenleiter, Community-Manager und Recruitment-Officers.
Nutzt einen echten Browser-Kontext mit konfigurierbarem User-Agent und optionalem Playwright-Stealth zur Umgehung der Bot-Erkennung.
Parst die Gildenmitglieder-Tabelle inklusive Name, Rang, Rolle (Spec), Item-Level und Profil-URL. Inaktive werden automatisch gefiltert.
Besucht jedes Mitgliedsprofil und extrahiert Battle.net, Discord, Twitter, Twitch und YouTube Handles via Regex.
Konfigurierbares Delay mit zufälligem Jitter zwischen Profil-Besuchen um Rate-Limits zu vermeiden.
Sauberer, strukturierter JSON-Output — bereit für Weiterverarbeitung oder Import in Spreadsheets und Datenbanken.
Optionale Playwright-Stealth Integration für besonders hartnäckige Cloudflare-Konfigurationen.
git clone https://github.com/CheswickDEV/WoWProgress-Scraper.git
pip install playwright playwright-stealth und danach playwright install chromium
Guild-URL als Parameter übergeben und den Scraper laufen lassen. Ergebnis wird als JSON ausgegeben.