Data Science in de praktijk

Bij Beyonder Enschede geloven we in AI by Default, maar wel gekoppeld aan nuchter vakmanschap. We bouwen oplossingen die technisch kloppen en echt impact maken. Hoe ziet dat er in de praktijk uit als Data Scientist? Met behulp van een paar cases geven we een kijkje in onze aanpak, keuzes en techniek.

Case 1: Klassieke ML vs. LLMs: De juiste tool voor het juiste probleem

Bij één van onze recente klantprojecten stonden we voor een keuze: om documenten automatisch te classificeren konden we de nieuwste LLMs toepassen, maar ergens knaagde toch het gevoel: kan een klassieke machine learning methode dit niet sneller en even goed als een LLM?

De tests lieten al snel zien: een Support Vector Machine werkte gewoon beter dan een LLM-gebaseerde oplossing. Het gebruik van een SVM bracht daarnaast nog andere voordelen met zich mee:

• Kosten: Het aanroepen van een LLM brengt kosten met zich mee, terwijl het classificeren met een SVM lokaal kan draaien en dus (na het draaien van de embedding) bijna gratis is.

• Betrouwbaarheid: Door een combinatie van de lage kosten en de snelheid van de methode kan je een betrouwbaarheid aan de voorspelling meegeven die gebaseerd is op cijfers, in plaats van een niet-deterministiche AI gegenereerde "betrouwbaarheidsscore".

Tegelijkertijd bouwt deze oplossing wel voort op recente ontwikkelingen in AI: de SVM kan alleen toegepast worden omdat de inhoud van documenten eerst ge-embed is in een laag-dimensionale vector met behulp van een embedding model.

Deze case laat zien hoe wij omgaan met ons motto AI by default: we blijven op de hoogte van de laatste ontwikkelingen in AI en gebruiken graag de beste en nieuwste tools. Tegelijkertijd houden we een nuchtere blik op het probleem en kiezen we altijd voor het algoritme dat het beste werkt voor de use case.

Case 3: Interne innovatie: Benchmarken van AI

Ook intern blijven we onze werkwijze continu verbeteren met nieuwe technieken. Een concreet voorbeeld is onze eigen AI-benchmarkingtool, die we gebruiken om ons AI-gebaseerde programmeren te optimaliseren. Hoewel er online veel LLM-benchmarks te vinden zijn, is het vaak onduidelijk welk harnas (denk bijvoorbeeld aan de testomgeving, prompts, beschikbare tooling) is gebruikt en is vooral onduidelijk hoe specifiek dat harnas is afgestemd op de taak en het model.

Bij het bouwen van ons framework hebben we een evaluatiefunctie gebouwd die verschillende aspecten meeweegt en een goede afweging maakt tussen kosten, codekwaliteit en functionele correctheid van de code. Dit stelt ons in staat om verschillende model/harnas-combinaties kwantitatief en eerlijk met elkaar te vergelijken.

Met dit framework kunnen we heel gericht testen wat de praktische impact is van verschillende optimalisaties:

• Indexing: Met een vectordatabase van de codebase kunnen zoekfuncties sneller werken. We hebben getest wat het effect hiervan is op de uiteindelijke codekwaliteit en de kosten.

• Promptoptimalisatie: We hebben onderzocht welke extra context of instructies daadwerkelijk een positieve invloed hebben op de gegenereerde code.

• Plan/Code-optimalisatie: We hebben de impact gemeten van het slim verdelen van taken. Zo hebben we gekeken of het efficiënter is om complexere taken aan zwaardere modellen uit te besteden en eenvoudigere taken aan lichtere modellen.

Met dit benchmarking framework hebben we een toolbox ontwikkeld die we kunnen blijven toepassen. Die toolbox gebruiken we niet alleen om nieuwe modellen en harnassen intern te testen, maar kunnen we ook gebruiken om onderbouwde, klantspecifieke keuzes te maken voor het inzetten van agentic AI bij softwareontwikkeling.