Voor onze organisatie wordt een spraak naar tekst dienst (S2T) ontwikkeld. Deze dienst moet generiek opgenomen kunnen worden in diverse gebruikersapplicaties. Er komt ook een dienstverlening die deze dienst doorontwikkelt en 24x7 beheert.

De kern van de dienst is een large language model (LLM) die op de Nvidia DGX stack draait. De basis van de LLM’s wordt specifiek bijgetraind met content uit de organisatie. De S2T-dienst exploiteert de verschillende LLM’s die via een application programming interface (API) aangeboden worden aan gebruikersapplicaties. Tevens is de API voorzien van een volwaardig authenticatie- en autorisatiemodel. 

In diverse proeftuinen wordt gebruikgemaakt van de S2T. De inzichten van dit gebruik leveren aanvullende eisen en wensen op voor de S2T-dienst en dienstverlening. Afhankelijk van de businesswaarde en hoe breed inzetbaar de wensen en eisen binnen de organisatie zijn, wordt besloten of deze ook ondersteund gaan worden. 

Binnen het team is er ruimte voor een ervaren software engineer. Deze engineer is in staat om op verschillende deelgebieden mee te werken met de collega’s en uit ervaring ook richting te geven. 

Primaire doelstelling is de S2T (door) te ontwikkelen zodat deze geïntegreerd kan worden in onze interne gebruikersapplicaties. Daarvoor is het van belang dat er een generieke dienst gebouwd wordt waarop LLM’s gedraaid en getraind kunnen worden. Hier ligt de hoofdfocus van de opdracht. 

- Ontwikkeling van web- en mobiele applicaties: Het ontwerp en de bouw van gebruiksvriendelijke applicaties waarin de S2T-dienst wordt getoetst.
- Integratie van de dienst in gebruikersapplicaties: Meehelpen aan de integratie van de S2T-dienst in bestaande gebruikersapplicaties.
- Bijdrage aan de middleware-layer: Bijdragen aan de ontwikkeling van de middleware-layer, waar de API-definitie wordt gerealiseerd en authenticatie plaatsvindt. De LLM’s moeten via virtualisatietechnieken gedeployed worden op de Nvidia-stack. De engineer werkt hier aan een schaalbaar, multi-tenant model. 
- Bijdrage leveren aan de integratie van de Nvidia-stack in de netwerkinfrastructuur van de Politie.
- Bijdrage leveren aan de geautomatiseerde inrichting, configuratie en beveiliging van de Nvidia-stack.
- Opzetten van een machine learning pipeline waarmee AI modellen gebouwd en uitgerold kunnen worden.