Data ophalen en verwerken met API’s en webscraping
Data kan in meerdere bronnen opgeslagen zijn, zoals bijvoorbeeld een SQL database. Maar data kan ook direct uit een (web)applicatie of van een website komen. Een moderne techniek om data uit applicaties op te roepen is met API’s. Dit staat voor Application Programming Interface. Je kunt er zowel data mee oproepen als terugsturen.
Er is niet altijd een API beschikbaar. Met webscaping kun je in dat geval alsnog data van een website uitlezen. Letterlijk staat webscraping voor “web schrapen”. Dat betekent uitlezen.
Er zijn oneindig veel toepassingen voor API’s en web scraping. Denk bijvoorbeeld aan uitlezen van financiële data uit het boekhoudsysteem. Een ander voorbeeld is het ophalen van prijzen van artikelen in een webshop. Kortom, er is veel mogelijk.
Leerdoelen APIs en Webscraping training
Tijdens deze training komen de volgende onderwerpen aan bod:
- API’s en webscraping met Python
- Werken met API’s
- Zelf een API maken
- Data uitlezen met webscraping
Is deze APIs en Webscraping training wat voor mij?
Deze training is iets voor jou als:
- Je al met Python werkt en verdieping zoekt
- Je met APIs wilt kunnen verbinden om analyses uit te breiden of te automatiseren
- Je geautomatiseerd data van het internet wilt halen
Benodigde voorkennis
Voor deze training heb je basiskennis Python nodig. Je kunt werken met variabelen en verschillende datatypes. Ook kun je functies maken en logica toepassen. Je hebt gewerkt met de packages Pandas, Numpy, en Matplotlib.
Inhoud Webscraping en APIs training
API’s en webscraping met Python
Je leert de termen API en webscraping kennen. Hierdoor leer je wanneer en waarvoor je wat gebruikt. Python biedt meerdere opties om ermee te werken. Vanuit heldere toelichting ervaar je welke packages te gebruiken zijn.
Werken met API’s
Door gebruik te maken van package “requests” leer je werken met API’s. Je leert bekende termen als “GET” en “PUT” opdrachten kennen. Via een combinatie van theorie en praktijk leer je alle ins en outs.
Zelf een API maken
Naast bestaande API’s gebruiken kun je er zelf ook een maken. Er zijn tal van voorbeelden van situaties waar een API handig is. Denk bijvoorbeeld aan het kunnen toepassen van een machine learning model. Je leert hier packages zoals “Flask” en “FastAPI” kennen.
Data uitlezen met webscraping
Hoe haal je data op uit een website waar geen API is? Hier biedt webscraping de oplossing. Hierbij gebruik je elementen van de webpagina (HTML). Met package “BeautifulSoup” zet je dit om in bruikbare data. Zo ben je in staat om tal van data automatisch op te halen.
Interesse in deze training?
Wil je aan de slag met APIs en webscraping in Python? Het is mogelijk deze training in-company te organiseren of in een één-op-één sessie te volgen. In beide gevallen is het handig om even contact op te nemen of een offerte aan te vragen.
Ervaringen met onze trainingen
Professioneel opgezet. Heldere verhaallijn gedurende de dag!
— Maurice Wijshoff, Specialist Improvement & Innovation bij Ahold Delhaize
Inhoudelijk sterk en enthousiast team. Leerzaam! Kortom goede introductie en fijne locatie.
— Imbert Myers, Database marketeer & Business analyst bij FNV
Erg goed verzorgde cursus. Docenten zijn enthousiast en ik vond het een goede selectie van onderwerpen. Goede basis en kweekt nieuwsgierigheid naar wat nog meer mogelijk is.
— Debra Marcella, Operator LPC TREx bij Ministerie van Defensie
Tijd genomen voor de basis en niet tegen beter weten in alle materie er doorheen geduwd. Goed tempo!
— Olaf van der Veen, co-founder bij Zero Foodwaste
Jullie zijn een enthousiast team!!
— Willem Kuilman, Information Security Manager bij Fujitsu
Gezellige sfeer, sterke voorbeelden, kundige docenten, goede presentatie
— Hugo Heuts