dplyr voor Data Manipulatie in R [Tutorial, uitleg & voorbeelden]

De meeste tijd en moeite gaat zitten in het manipuleren en “cleanen” van data. Als je R gebruikt als onderdeel van je workflow, dan is dplyr het go-to package.

Dplyr is gemaakt om efficiënte manipulatie van gegevens mogelijk te maken op een met weinig en simpele code. Bovendien is dplyr onderdeel van Tidyverse. Dit is een samenstelling van belangrijke data science packages voor R, hieronder valt ook bijvoorbeeld gpplot2 waarmee je ongeveer alle gewenste visualisaties kunt maken zoals bijvoorbeeld boxplots of een histogram.

Stel, je hebt een geweldige dataset gevonden en je wilt er meer over te weten komen. Hoe kun je beginnen met het beantwoorden van de vragen die je hebt over de gegevens? Je kunt dplyr gebruiken om die vragen te beantwoorden. Bovendien helpt dplyr je ook met het transformeren van je data. Zo kun je gegevens aggregeren, variabelen toevoegen, variabelen verwijderen of variabelen wijzigen.

Dplyr werkt aan de hand van een paar belangrijke werkwoorden, die aan elkaar gekoppeld worden met de zogenaamde “piping operator”. De vier belangrijkste werkwoorden zijn degenen die je kunt gebruiken om data te selecteren, filteren, ordenen en muteren, en de “piping operator” (%>%) wordt gebruikt om deze werkwoorden aan elkaar te linken.

Met de werkwoorden en %>% van dplyr is het makkelijker om complexe operaties van datamanipulatie uit te voeren. Voordat we in de details duiken, laten we een snel voorbeeld bekijken om de mogelijkheden van dplyr te benadrukken.

dplyr Pipeline

Stel we hebben een dataset die data van alle aankomende en vertrekkende vluchten vanaf van een bepaald vliegveld bevat. Vervolgens willen wij op deze data de volgende operaties uitvoeren:

Stap 1: Filter op alle vluchten met als oorsprong de luchthaven met code “LAX”

Stap 2: Tel het totaal aantal vluchten en vertraagde vluchten per luchtvaartmaatschappij

Stap 3: Converteer het naar de metriek “vertraagd per duizend”

Stap 4: Sorteer het resultaat op deze metriek in aflopende volgorde

Een typische dplyr “pipeline” om deze vragen te beantwoorden zou er dan als volgt uitzien:

hflights %>%
    filter(Oorsprong == "LAX") %>%
    mutate(Vertraagd =if_else(Vertraging>0,TRUE,FALSE,missing=NULL)) %>%
    group_by(Airline) %>%
    summarise(Aantal=n(),AantalVertraagd=sum(Vertraagd,na.rm=TRUE)) %>%
    mutate(perDuizend=100*(AantalVertraagd/Aantal)) %>%
    arrange(desc(perDuizend))

We gebruiken in dit blog de software R. Heb je R nog niet geïnstalleerd, volg dan deze pagina over R installeren

Zoals je kunt zien, hebben we in slechts 5 regels code snel de antwoorden gekregen op al onze vragen. Zie ook hoe aan het eind van elke regel de ‘piping operator’ elke afzonderlijke operatie aan de volgende koppelt. Zo wordt de kenmerkende “chain” of “pipeline” gecreëerd waar het package dplyr zo bekend om is.

Laten we nu eens een stapje terug doen en afzonderlijk kijken naar elk van de belangrijke werkwoorden.

Deze 4 belangrijkste werkwoorden voor data transformaties zijn :
select()
filter()
arrange()
mutate()

Dataset Counties

Om goed uit te kunnen leggen wat elk van de vier werkwoorden precies uitvoert, nemen we de dataset counties. Deze specifieke dataset is afkomstig van de volkstelling van de Verenigde Staten in 2015. Een staat is een van de 50 regio's binnen de Verenigde Staten, zoals New York, Californië, of Texas. Een county is een subregio binnen een van die staten, zoals Los Angeles county in Californië.

Je krijgt toegang tot deze data door counties in te typen in je R console. Hieronder nemen wij de head() van counties, wat wil zeggen dat R ons maar de eerste paar regels van de data laat zien.

Belangrijk: Alle code die wij hier gebruiken kun je vanuit de console uitvoeren. Wij raden echter aan om het in een R Script te bewaren. Zo kun je goed elke stap bijhouden. Begrijp je niet goed wat we hiermee bedoelen, lees dan eerst onze handleiding over werken met R in RStudio.

head(counties)

Deze dataset bevat heel veel informatie, maar maak je geen zorgen, we gaan maar met een paar variabelen tegelijk werken!

Deze tabel bevat informatie over de mensen die in elke county wonen, zoals de bevolking, het werkloosheidspercentage, hun inkomen, en de verdeling naar ras en geslacht. Dit betekent dat er heel wat vragen zijn die we aan onze data kunnen stellen.

Select

Me de functie select() van dplyr verfijn je je kolomselecties. Meestal zijn lang niet alle kolommen in een dataset relevant en zorgen te veel kolommen voor een slecht overzicht. Met select() specificeer je simpelweg welke kolommen je wilt selecteren. Bovendien kun je ook kolomnamen veranderen binnen de select functie.

counties %>%
    select(state, county, population, unemployment)

Opslaan als nieuw dataframe

counties_selected <- counties %>%
    select(state, county, population, unemployment)

head(counties_selected)

Arrange

De functie arrange() sorteert rijen in het dataframe op basis van een de waarde in een specifieke kolom die je als argument meegeeft met de functie. Dit is vergelijkbaar met "order by" in SQL.

Oplopend

counties_selected %>%
    arrange(population)

Aflopend

counties %>%
    arrange(desc(population))

Filter

De filter() functie lijkt op de SQL "where"-clausule. Het returned alle rijen die aan het gegeven filtercriterium voldoen. Binnen de functie filter() worden logische en booleaanse operatoren gebruikt, zoals (<, >, !=,==, |,&, is.na(), !is.na(), %in%) om condities en expressies binnen de filter aan te geven.

Verwar deze functie niet met select(). Hoewel beide functies data selecteren, selecteert filter() rijen. Daarentegen selecteert select() juist kolommen.

counties_selected %>%
    arrange(desc(population)) %>%
    filter(state == "New York")

Meerdere Condities

counties_selected %>%
    arrange(desc(population)) %>%
    filter(state == "New York", unemployment < 6)

Mutate

Met de mutate() functie maak je een nieuwe kolom in je dataframe op basis van andere kolommen in je dataframe. Zo maken wij bijvoorbeeld een nieuwe kolom aan doordat wij het percentage van werkloosheid per county vermenigvuldigen met de bevolkingsgrootte van elke county. Zo krijgen we een nieuwe kolom die het aantal mensen dat werkloos is per county bevat.

counties_selected %>%
    mutate(unemployed_population = population * unemployment / 100)

Combineren met Arrange()

counties_selected %>%
    mutate(unemployed_population = population * unemployment / 100) %>%
    arrange(desc(unemployed_population))

Samenvatting

Door commando's aan elkaar te "pipen" met dplyr ontstaat R code die beknopt is, waardoor het gemakkelijker te schrijven én gemakkelijker te begrijpen is.

Je vraagt je misschien af, 'Hoe werkt dit?'. Het resultaat van elke operatie (select,filter, arrange,mutate) wordt doorgegeven aan de volgende "gepipte" functie eronder. Op deze manier hoef je de gegevens van elke stap niet op te slaan in een nieuw dataframe.

In het begin is dit waarschijnlijk vreemd, maar door te oefenen krijg je de functionaliteit van dplyr snel onder de knie. Je zult merken dat elk R script dat je in de toekomst schrijft beter zal zijn door gebruik te maken van dplyr. Je R dataverwerking zal beknopter en begrijpelijker zijn, en je zult merker dat je aanzienlijk minder tijd nodig hebt.

Wil jij goed leren werken in R? Tijdens onze Opleiding R leer je alles wat je nodig hebt om zelfstandig analyses uit te voeren in R en RStudio.