Uitkomsten en datasets controleren
Een model dat 95 procent goed heeft, zit bij tienduizend objecten vijfhonderd keer ernaast. Welke vijfhonderd dat zijn, wil je weten voordat je klant ze tegenkomt. Wij zoeken ze op.
De uitkomsten van je model nakijken
Je model draait al. Wij beoordelen alle uitkomsten of een steekproef daarvan. Je krijgt de gecorrigeerde labels terug plus het foutpercentage per klasse. Geschikt als vaste stap voordat je levert.
Een dataset valideren
Je hebt al gelabelde data, maar je vertrouwt hem niet helemaal. Wij kijken een steekproef na en rapporteren hoeveel labels fout, onvolledig of onderling tegenstrijdig zijn.
Zo bewaken we de kwaliteit
Het protocol
Per opdracht schrijven we samen met jou een protocol, met voorbeelden van goed, fout en twijfel. Elke wijziging krijgt een versienummer. In het verslag staat onder welke versie elk beeld is beoordeeld.
De gouden set
Voordat we beginnen, beoordelen we samen met jou een set van honderd tot tweehonderd beelden. Dat is de meetlat. Elke beoordelaar wordt erop getoetst voordat die aan jouw data begint en tussendoor opnieuw.
Twee lagen
Elk beeld krijgt een beoordeling. Een tweede beoordelaar kijkt twee van elke tien beelden opnieuw na. Zijn ze het oneens, dan beslist de projectleider en gaat het geval met uitleg het protocol in.
Wat je terugkrijgt
Per batch een foutrapport, uitgesplitst per klasse. Zo zie je niet alleen hoe goed je model is, maar ook waar het misgaat. Het rapport kun je zo doorsturen naar je eigen klant of opdrachtgever.
- Het foutpercentage per klasse, gesplitst in fout gezien en gemist
- De gecorrigeerde labels, in het formaat waarmee je werkt
- Hoe vaak twee beoordelaars het met elkaar eens waren
- Welke versie van het protocol bij elk beeld hoorde
Zo ziet een nagekeken beeld eruit
Roze is wat het model zag. Geel is wat een mens erbij vond: een object dat geen auto is en een auto in de schaduw die het model miste. Elke gele markering telt mee in het foutpercentage van die klasse.
Begin met een proef van tien werkdagen
Stuur ons tot driehonderd beelden. Wij annoteren ze of we kijken de uitkomsten van je model na. Binnen tien werkdagen weet je wat ons werk jou oplevert en wat het op volle schaal kost.
Moet je social return invullen?
Vertel ons om welke opdracht het gaat. Dan rekenen we samen uit wat ons werk daarvoor kan betekenen, met de regels van jouw opdrachtgever erbij.
