Web scraping is geen nieuwe techniek voor het verzamelen van informatie. Het wordt gebruikt door marketeers, onderzoekers en hackers om snel en effectief informatie te verzamelen. In het tijdperk van big data is web scraping nog prominenter geworden als manier om specifieke informatie te verzamelen.

Er zijn meer bronnen waaruit je informatie kunt halen, vooral nu grote zoekmachines zoals Google vrijwel elk hoekje van het internet gedetailleerd hebben geïndexeerd. Je moet alleen weten welke trefwoorden je moet gebruiken en hoe je Google-resultaten kunt scrapen voor verschillende doeleinden.

Dit is waar Google dorking van pas komt. Met de juiste commando's kun je een eenvoudige Google-zoekopdracht omzetten in een schat aan waardevolle informatie.

Google Dorking voor Hacking

Om te beginnen: dorking op Google is juridisch toegestaan. Je maakt eenvoudigweg gebruik van verschillende commando's die al beschikbaar zijn in de zoekmachine om specifieke informatie die publiekelijk beschikbaar is op het World Wide Web te vinden.

Google dorking wordt vaak geassocieerd met Google hacking. Hoewel het in het begin misschien op hacken lijkt, gaat het hele proces van het aanpassen van zoekopdrachten om specifieke resultaten te vinden niet tegen het beleid van Google in. Het hacken komt meestal pas nadat gevoelige informatie en details zijn blootgelegd.

Er zijn ook interessante commando's die je kunt gebruiken. Zo kun je bijvoorbeeld intitle:"index of" "debian.cnf" gebruiken om informatie over Debian-servers te vinden. De zoekopdracht onthult eenvoudigweg elk Debian.cnf-bestand dat publiekelijk toegankelijk is.

Datzelfde geldt voor intitle:index.of.?.database, dat ook mappen met gevoelige bestanden onthult. Het commando kan worden gebruikt om servers met gevoelige mappen bloot te leggen die openlijk toegankelijk zijn, meestal vanwege onjuiste CHOWN- en CHMOD-configuraties.

De lijst gaat maar door. Je kunt commando's gebruiken zoals site:*/wp-login?redirect_to= intitle:"login" en site:admin.*.*/forgot?username= om pagina's te vinden die mogelijk gebruikersnamen en andere belangrijke gegevens onthullen. Dezelfde commando's onthullen ook pagina's met inlogportalen.

Google Dorking Resultaten Scrapen

Google Dorking, wanneer handmatig gedaan, is een geweldige manier om kwetsbaarheden op één of twee websites te vinden. Je kunt meerdere commando's proberen om te zien of er blootgestelde mappen en inlogpagina's zijn die kunnen worden misbruikt. Combineer Google dorking met een capabele web scraping tool om honderden kwetsbare websites te ontdekken. Je kunt dezelfde combinatie ook gebruiken om naar persoonlijke informatie, configuratiebestanden en andere materialen te zoeken. Het proces is zelfs eenvoudig genoeg voor dagelijkse gebruikers.

Begin met het instellen van een proxy. Een tussenliggende proxy stelt je in staat om veilig Google dorking resultaten te scrapen zonder verbannen te worden of je oorspronkelijke IP-adres prijs te geven. Je kunt extra beveiligingsmaatregelen toevoegen om je identiteit verder te verbergen. Je kunt bijvoorbeeld een web scraping VPN en automatiseringstools gebruiken om het proces te vereenvoudigen.

Eenmaal ingesteld, kan de rest volledig geautomatiseerd worden. Een eenvoudig dorking-commando kan in enkele seconden honderden - zo niet duizenden - kwetsbare sites en gevoelige informatie blootleggen. Bedenk wat je allemaal kunt bereiken wanneer je een geautomatiseerde web scraping tool een paar uur op dorking resultaten laat draaien.

Vergeet niet dat web scraping ook geavanceerde informatieverwerking ondersteunt. In plaats van een grote hoeveelheid gegevens zonder context te verzamelen, kun je de scraping tool instellen om automatisch relevante informatie en gegevens te filteren die je daadwerkelijk kunt gebruiken. Dit maakt het vinden van kwetsbaarheden en het identificeren van kwetsbare sites veel gemakkelijker.

Het Proces Vereenvoudigen

Google dorking is misschien niet illegaal, maar je kunt het nog steeds gebruiken voor hacken. In feite is de combinatie van Google dorking - Google-zoekhacks - en web scraping een krachtige tool voor elke hacker om te gebruiken. Stel je voor welke soorten aanvallen je kunt uitvoeren wanneer je in enkele minuten honderden .cnf-bestanden kunt verzamelen. Je kunt gemakkelijk door beveiligingslagen van servers navigeren.

Je kunt zelfs .ini-bestanden vinden voor frameworks zoals MySQL, waarmee je toegang krijgt tot meer informatie. Geen gedoe meer om toegang te krijgen tot een server of waardevolle informatie over je doelwitten te verzamelen; een eenvoudige dorking-scraping-operatie is alles wat je nodig hebt om aan de slag te gaan.

Dit brengt ons bij het belangrijkste punt van het leren van deze truc: de schaal waarop het kan worden gebruikt. Stel je voor dat je meerdere web scrapers voor meerdere dorks uitvoert, allemaal vanachter proxies en VPN-servers; stel je de hoeveelheid informatie en kwetsbaarheden voor die je in zo'n korte tijd kunt verzamelen.

Of je nu penetratietesten uitvoert of informatie probeert te stelen van versterkte servers, dorking en scraping zijn benaderingen om te overwegen. Ze zijn zo eenvoudig dat veel systeembeheerders zich er niet echt op voorbereiden. Dat maakt deze benaderingen nog krachtiger als tools voor hackers.