Otkrivanje CloudFlare

Tip

Učite i vežbajte AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE)
Učite i vežbajte GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE) Učite i vežbajte Azure Hacking: HackTricks Training Azure Red Team Expert (AzRTE)

Podržite HackTricks

Uobičajene tehnike za otkrivanje CloudFlare

  • Možete koristiti neki servis koji daje istorijske DNS zapise domena. Moguće je da je web stranica ranije radila na nekoj IP adresi.
  • Isto se može postići proverom istorijskih SSL sertifikata koji bi mogli ukazivati na origin IP adresu.
  • Proverite i DNS zapise drugih poddomena koje direktno pokazuju na IP adrese, jer je moguće da druge poddomene pokazuju na isti server (možda za FTP, mail ili neku drugu uslugu).
  • Ako nađete SSRF unutar web aplikacije, možete ga iskoristiti da dobijete IP adresu servera.
  • Pretražite jedinstveni string sa web stranice u pretraživačima kao što su shodan (i možda google i slični). Možda ćete naći IP adresu sa tim sadržajem.
  • Na sličan način, umesto traženja jedinstvenog stringa, možete pretražiti favicon ikonu koristeći alat: https://github.com/karma9874/CloudFlare-IP ili https://github.com/pielco11/fav-up
  • Ovo često neće raditi jer server mora slati isti odgovor kada mu se pristupi putem IP adrese, ali nikad se ne zna.

Alati za otkrivanje Cloudflare

# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one

# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
done

Otkrivanje Cloudflare-a iz cloud infrastrukture

Imajte na umu da, iako je ovo urađeno za AWS mašine, može se uraditi i za bilo kog drugog cloud provajdera.

Za detaljniji opis ovog procesa pogledajte:

https://trickest.com/blog/cloudflare-bypass-discover-ip-addresses-aws/?utm_campaign=hacktrics&utm_medium=banner&utm_source=hacktricks

# Find open ports
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open"  > all_open.txt
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json

# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json

Zaobilaženje Cloudflare-a kroz Cloudflare

Authenticated Origin Pulls

Ovaj mehanizam se oslanja na client SSL certificates da autentifikuje konekcije između Cloudflare’s reverse-proxy servera i origin servera, što se naziva mTLS.

Umesto da konfigurišu svoj sertifikat, korisnici mogu jednostavno koristiti Cloudflare’s certificate da dozvole bilo koju konekciju sa Cloudflare, bez obzira na tenant.

Caution

Zbog toga, napadač može jednostavno podesiti domain in Cloudflare using Cloudflare’s certificate and point it na victim domain IP adresu. Na taj način, postavljajući svoj domain potpuno nezaštićen, Cloudflare neće zaštititi poslati zahteve.

Više informacija here.

Dozvoljene Cloudflare IP Addresses

Ovo će odbaciti konekcije koje ne potiču iz Cloudflare’s IP address ranges. Ovo je takođe ranjivo na prethodno opisanu konfiguraciju gde napadač jednostavno point his own domain in Cloudflare na victims IP adresu i napadne je.

Više informacija here.

Bypass Cloudflare for scraping

Cache

Ponekad želite samo zaobići Cloudflare da biste samo scrape-ovali web stranicu. Postoji nekoliko opcija za ovo:

  • Use Google cache: https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog
  • Use other cache services such as https://archive.org/web/

Alati

Neki alati, poput sledećih, mogu zaobići (ili su bili u stanju da zaobiđu) Cloudflare’s protection protiv scraping-a:

Cloudflare Solvers

Postoji nekoliko Cloudflare solvera razvijenih:

Fortified Headless Browsers

Koristite headless browser koji nije detektovan kao automatizovani browser (možda ćete morati prilagoditi za to). Neke opcije su:

  • Puppeteer: The stealth plugin for puppeteer.
  • Playwright: The stealth plugin is coming to Playwright soon. Follow developments here and here.
  • Selenium: SeleniumBase is a modern browser automation framework featuring built-in stealth capabilities. It offers two modes: UC Mode, an optimized Selenium ChromeDriver patch based on undetected-chromedriver, and CDP Mode, which can bypass bot detection, solve CAPTCHAs, and leverage advanced methods from the Chrome DevTools Protocol.

Smart Proxy With Cloudflare Built-In Bypass

Smart proxies se kontinuirano ažuriraju od strane specijalizovanih kompanija, sa ciljem da nadmudre Cloudflare’s bezbednosne mere (jer je to njihov posao).

Neki od njih su:

Za one koji traže optimizovano rešenje, ScrapeOps Proxy Aggregator se izdvaja. Ova usluga integriše preko 20 provajdera proxy-ja u jedan API, automatski birajući najbolji i najisplativiji proxy za vaše ciljne domene, nudeći tako superiornu opciju za snalaženje kroz Cloudflare’s odbrane.

Reverse Engineer Cloudflare Anti-Bot Protection

Reverse engineering Cloudflare’s anti-bot mera je taktika koju koriste smart proxy provajderi, pogodna za obimno web scraping bez visokih troškova pokretanja velikog broja headless browser-a.

Prednosti: Ova metoda omogućava kreiranje izuzetno efikasnog bypass-a koji specifično cilja Cloudflare’s provere, idealno za operacije velikog obima.

Nedostaci: Mana je složenost razumevanja i obmanjivanja Cloudflare’s namerno zamršenog anti-bot sistema, što zahteva kontinuirani trud da se testiraju različite strategije i ažurira bypass kako Cloudflare unapređuje svoje zaštite.

Više informacija o načinu rada potražite u original article.

References

Tip

Učite i vežbajte AWS Hacking:HackTricks Training AWS Red Team Expert (ARTE)
Učite i vežbajte GCP Hacking: HackTricks Training GCP Red Team Expert (GRTE) Učite i vežbajte Azure Hacking: HackTricks Training Azure Red Team Expert (AzRTE)

Podržite HackTricks