Wat leer je in deze tutorial?
- Wat is TensorFlow?
- Image recognition in Python met een neural network
- Een image recognition model opslaan voor hergebruik
- Image recognition toepassen op nieuwe data
- Het model voor beeldherkenning evalueren
Wat is TensorFlow?
TensorFlow is een Python package voor machine learning en is ontwikkeld door Google. TensorFlow focust specifiek op neural networks.
Neural networks zijn machine learning algoritmes die vooral bij voorspellingen met beeld-, geluid- en tekstdata gebruikt worden.
Google gebruikt het zelf bijvoorbeeld voor het verbeteren van zoekresultaten en vertalingen. TensorFlow is populair en wordt door veel bedrijven gebruikt, voorbeelden hiervan zijn Airbnb, PayPal en Twitter. Airbnb gebruikt TensorFlow bijvoorbeeld om objecten in foto's van verblijfsruimtes te classificeren, om klanten zo van goede informatie te voorzien. PayPal gebruikt het om complexe fraudegevallen te detecteren bij financiële transacties.
Neural networks kenmerken zich door een complexe modelstructuur waardoor ook complexe voorspellingen gedaan kunnen worden. TensorFlow biedt hierbij met behulp van onder andere de TensorFlow module Keras gemakkelijke abstractielagen waardoor weinig regels code nodig zijn om complexe neural networks te creëren.
De naam TensorFlow is als volgt te verklaren: Een tensor is een vector of matrix en is de standaard vorm van dataopslag binnen deep learning. Deze data wordt vervolgens in stappen verwerkt, de flow.
Dataset van Zalando kledingstukken voor image recognition
In deze tutorial gaan we een model samenstellen om afbeeldingen te classificeren als een bepaald kledingstuk (ook wel image recognition of in het Nederlands beeldherkenning genoemd). Hiervoor gebruiken we een dataset met duizenden foto's van Zalando.
Allereerst importeren we de benodigde packages voor deze tutorial. Zorg ervoor dat je TensorFlow versie 2 geïnstalleerd hebt.
from tensorflow import keras
import numpy as np
import matplotlib.pyplot as plt
We importeren module Keras uit package TensorFlow voor het model, Numpy om met matrixen te kunnen werken en module Pyplot uit package Matplotlib voor visualisaties.
Vanuit TensorFlow kunnen we direct al gebruik maken van de Zalando dataset. Dit is in deze tutorial gemakkelijk omdat we hierdoor gemakkelijk met deze data kunnen werken, zonder dat we lokaal afbeeldingen uit moeten lezen en omzetten naar een formaat wat we voor het model kunnen gebruiken.
In onderstaande code verkrijgen we de data die bestaat uit train- en testdata. Beide delen bestaan weer uit afbeeldingen en bijbehorende labels. Wat dit inhoudt bekijken we hierna.
dataset_fashion = keras.datasets.fashion_mnist
(train_images, train_labels), (test_images, test_labels) = dataset_fashion.load_data()
print("Train images:", len(train_images))
print("Test images:", len(test_images))
We zien dat de traindata uit train- en testdata uit 60.000 en 10.000 afbeeldingen bestaat.
Met onderstaande code bekijken we de details van een willekeurige afbeeldingen.
print(train_images[1].shape)
train_images[1]
Te zien is dat dit is opgebouwd uit een matrix van 28 rijen en kolommen. Hierbij zijn de waarden gelijk aan 0-255. Dit betekent praktisch dat elke afbeelding uit 28 bij 28 pixels bestaat, en elke waarde staat voor de kleur van een pixel: 0 is wit en 255 is zwart.
Dit is gemakkelijk te visualiseren met Matplotlib:
plt.imshow(train_images[1], cmap=plt.cm.binary);
Hier is duidelijk een tshirt in te herkennen. Het bijbehorende label van deze afbeelding bekijken we met onderstaande code.
train_labels[1]
Dit geeft de categorie aan. We kunnen met de volgende code achterhalen welke labels er zijn en hoeveel dit er in totaal zijn.
unique_labels = np.unique(train_labels)
print(len(unique_labels))
unique_labels
Er zijn 10 verschillende labels wat betekent dat de dataset uit 10 verschillende soorten kleding bestaat. Vanuit de documentatie is te achterhalen wat de betekenis van een label is. Dit passen we als volgt toe:
label_names = ["T-shirt/top", "Trouser", "Pullover", "Dress", "Coat", "Sandal", "Shirt", "Sneaker", "Bag", "Ankle boot"]
label_names[train_labels[1]]
We hebben gezien dat de data numerieke waarden 0 tot en met 255 bevat. Om de data goed voor te bereiden voor het model normaliseren we dit naar waarden tussen 0 en 1. Dit kan in dit geval gemakkelijk door waarden door 255 te delen.
train_images = train_images / 255
test_images = test_images / 255
print(np.min(train_images))
print(np.max(train_images))
Modelleren
Nu we de data in een goed formaat tot onze beschikking hebben kunnen we het image recognition model in Python aan gaan maken. Dit wordt een neural network. Een neural network is typisch opgebouwd uit een serie van meerdere lagen (layers). Hierbij heb je de input layer waarin de data het model binnenkomt en de output layer die de waarden van de voorspellingen geeft. Hiertussen kunnen meerdere zogeheten hidden layers aanwezig zijn. Elke layer bestaat uit meerdere nodes (neurons).
Model voor beeldherkenning (image recognition) aanmaken
In de volgende code maken we een Python image recognition model aan wat we opbouwen uit een serie lagen.
model = keras.Sequential()
model.add(keras.layers.Flatten(input_shape=(28,28)))
model.add(keras.layers.Dense(128, activation="relu"))
model.add(keras.layers.Dense(10, activation="softmax"))
De eerste laag die we aanmaken heeft type Flatten met een input_shape=(28,28). Dit is de input layer en door type Flatten zorgen we ervoor dat een afbeelding die uit 28 rijen van 28 waarden om wordt gezet in één lijst van 28*28 = 784 waarden.
De tweede en derde laag zijn Dense layers. Dit zijn standaard layers waarbij de nodes van een layer met alle nodes van de naastgelegen layers verbonden zijn. De eerste Dense layer is de hidden layer. We kiezen hier 128 nodes. Dit getal is vrij te kiezen. Activation "relu" staat voor rectified linear unit. Dit is een methode waarop de nodes activeren.
De derde layer is ook een Dense layer, dit is de output layer. Omdat er 10 soorten kleding in de data aanwezig zijn is het aantal nodes hier gelijk aan 10. Activation "softmax" zorgt ervoor dat de 10 waarden opgeteld 1 zijn. Dit geeft hierdoor de kans bij een voorspelling voor elk van de mogelijke kledingstukken.
Er is een methode waarin we de configuratie van ons model samengevat kunnen weergeven om te controleren of dit aan onze verwachtingen voldoet.
model.summary()
Model configureren
Nu de structuur van het model staat is de volgende stap om te specificeren hoe het model geoptimaliseerd en beoordeeld moet worden.
model.compile(optimizer="adam", loss="sparse_categorical_crossentropy", metrics=["accuracy"])
Hierin is optimizer "adam" het algoritme wat beschrijft de parameters in het model aanpast. Hierbij wordt de loss function gebruikt om het verschil tussen voorspelling en werkelijke waarde uit te drukken. Voor hier is het alleen belangrijk om te weten dat er meerdere soorten optimizers en loss functions zijn. Er kunnen meerdere metrics opgegeven worden waarmee voorspellingen te beoordelen zijn. Hier kiezen we de accuracy wat procentueel laat zien hoeveel voorspellingen juist zijn.
Model trainen
Alles is nu gereed om het model op de traindata te kunnen trainen. Dit kan met de .fit() methode. Met epochs=5 zorgen we ervoor dat de data 5 keer opnieuw door het model gebruikt wordt tijdens het trainen.
model.fit(x=train_images, y=train_labels, epochs=5)
Het model is nu getraind op de traindata. Hierbij is een nauwkeurigheid van 89% behaald.
Model opslaan
Nu we een getraind model hebben kunnen we dit opslaan om later te gebruiken, of om het met anderen te delen. Hier zijn verschillende methoden voor, in dit voorbeeld gebruiken we het .h5 formaat.
model.save("model.h5")
Model openen
Een opgeslagen model is weer te openen en kan zo hergebruikt worden. Hierdoor bespaar je je de tijd van het trainen.
saved_model = keras.models.load_model("model.h5")
saved_model
Te zien is dat het inderdaad een TensorFlow model is wat geopend is.
Voorspellen met het Python image recognition model: alle testdata
Onze dataset bestaat uit train- en testdata. We hebben het model getraind met de traindata waarbij we een nauwkeurigheid van 89% hebben behaald. Dat is mooi, maar we weten nog niet hoe het model presteert op nieuwe data. Om hier een beeld van te vormen gaan we voorspellingen met het model doen op de testdata. Met de .predict() methode kunnen met het model voorspellingen worden gedaan.
predictions = saved_model.predict(test_images)
Hiermee doen we in één keer voorspellingen voor de volledige testdata. Laten we een specifiek datapunt bekijken.
predictions[10]
De output layer van het model bestaat uit 10 nodes: één voor elk mogelijk kledingstuk. We krijgen als uitkomst van onze voorspelling dan ook een lijst met 10 getallen, de kans voor elk van de mogelijke kledingstukken.
Met de volgende code vinden we de positie van de hoogste kans.
np.argmax(predictions[10])
Het vierde getal heeft de hoogste score. Hier kunnen we de bijbehorende naam bijzoeken.
label_names[np.argmax(predictions[10])]
Er is dus voorspeld dat dit een jas moet zijn. Laten we dit controleren door hiervoor de afbeelding te bekijken.
plt.imshow(test_images[10], cmap=plt.cm.binary);
Op basis van deze test lijkt het model het goed te doen op nieuwe data, maar dit was natuurlijk slechts een steekproef.
Model evalueren
Om te zien hoe het model presteert op de volledige testdata gebruiken we de .evaluate() methode.
saved_model.evaluate(x=test_images, y=test_labels)
We zien hier nogmaals dat de testdata uit 10.000 afbeeldingen bestond, en dat het model hier met een accuracy van 0.8702 voorspellingen wist te doen. Dit betekent dat 87% van de voorspellingen op voor het model nieuwe data, de testdata, correct is. Voor de traindata was dit 89%. Dit ziet er dus erg goed uit.
Voorspellen met het model: individuele voorspellingen
We hebben gezien hoe we met de .predict() methode in Python aan beeldherkenning kunnen doen met ons model. Dit hebben we gedaan voor alle items uit de testdata. Laten we tot slot bekijken we hoe we dit voor individuele afbeeldingen doen.
Hiervoor maken we een functie waarin we de voorspelling voor een bepaalde afbeelding doen. Let er hierbij op dat het model input verwacht als 28*28 matrices in een list. Dit garanderen we voor individuele voorspellingen met .reshape(). Vervolgens bepalen we de naam van het voorspelde label, en de werkelijke naam. Dit plotten we als geheel.
def show_prediction(number):
prediction = saved_model.predict(test_images[number].reshape(1, 28, 28))
prediction_name = label_names[np.argmax(prediction)]
actual_name = label_names[test_labels[number]]
plt.imshow(test_images[number], cmap=plt.cm.binary);
plt.title("Actual: {} & Predicted: {}".format(actual_name, prediction_name))
plt.show()
show_prediction(9856)
Nu dit als functie beschikbaar is kunnen we ook gemakkelijk de voorspellingen doen voor een reeks aan verschillende afbeeldingen.
for number in [5668, 214, 789]:
show_prediction(number)
Wat je moet onthouden over image recognition in Python met TensorFlow
TensorFlow is een veelgebruikt machine learning package wat veelgebruikt wordt voor neural networks en is ontwikkeld door Google. Het abstraheert de complexe wiskundige logica waardoor maar enkele regels code nodig zijn voor een uitgebreide modelstructuur. Met TensorFlow hebben we een neural network gemaakt voor image recognition/ beeldherkenning. Dit model hebben we opgebouwd uit verschillende layers. Het model is op te slaan voor hergebruik. De bruikbaarheid van het model hebben we geëvalueerd door voorspelling te doen op voor het model nieuwe data, de testdata.
Benieuwd naar je carrièremogelijkheden? Bekijk hier actuele vacatures voor Data Scientists en Machine Learning Engineers in Nederland'.
Machine learning specialist worden?
Wil jij snel op stoom zijn met machine learning? Volg dan onze Data Science opleiding. In vier dagen nemen we je mee in de basis van Python en statistiek. Er is geen voorkennis vereist. Je leert zelfstandig machine learning modellen ontwikkelen en toepassen. Voor wie al ervaring heeft met programmeren in Python is het ook mogelijk om alleen de laatste twee dagen mee te doen; dit is onze machine learning training.
Download één van onze opleidingsbrochures voor meer informatie
Peter is een ervaren data scientist en python trainer. Na zijn studie aan de Technische Universiteit Delft heeft hij zich altijd bezig gehouden met data en diverse programmeertalen. Peter heeft veel data analyses uitgevoerd en processen geautomatiseerd met Python in productieomgevingen.
