Proof of Concept AI monitoring van open standaarden

1. Inleiding

De Monitor Open Standaarden heeft als doel het gebruik van ‘pas toe of leg uit’-standaarden in de praktijk te monitoren en te analyseren. Een essentieel onderdeel van deze monitoring betreft het beoordelen van aanbestedingen op de correcte toepassing en uitvraag van relevante open standaarden. Het beoordelingskader hiervoor is vastgelegd in de notitie “Uitgangspunten beoordeling aanbestedingen MOS 2025”. 

Het huidige proces wordt uitgevoerd door beoordelaars. Twee beoordelaars analyseren onafhankelijk van elkaar een aanbesteding, brengen hun bevindingen in kaart, en komen vervolgens via onderlinge discussie tot een gezamenlijke conclusie. Hoewel dit grondige werkwijze borg staat voor kwaliteit, is het ook tijdrovend en bewerkelijk. 

In het licht van digitale transformatie is deze Proof of Concept (POC) opgezet om te onderzoeken of kunstmatige intelligentie (AI) een ondersteunende rol kan spelen in dit proces. Het doel was te verkennen in hoeverre AI kan bijdragen aan de efficiëntie, objectiviteit en reproduceerbaarheid van de beoordeling van aanbestedingen op het gebied van open standaarden. 

2. Aanpak 

Voor de uitvoering van deze Proof of Concept (POC) is gebruikgemaakt van het AI-integratieplatform orq.ai. Dit platform is gekozen vanwege de gebruiksvriendelijkheid en flexibiliteit bij het experimenteren met verschillende prompts en taalmodellen. Binnen de reikwijdte van deze POC bleken de verschillen tussen gesloten en open source taalmodellen niet significant. Voor een eventueel vervolgtraject biedt dit ruimte om gebruik te maken van open source modellen zoals LLaMA of Mistral.

Op basis van deze infrastructuur is een innovatieve benadering ontwikkeld, bestaande uit twee typen AI-prompts. Hieronder wordt het eerste type toegelicht:

Prompt 1 – Relevantieanalyse

De POC richtte zich op een representatieve subset van open standaarden, waaronder:

• TLS (Transport Layer Security)
• GWSW (Gegevenswoordenboek Stedelijk Waterbeheer)
• E-mailbeveiligingsstandaarden: SPF, DKIM, DMARC, DANE en STARTTLS

Deze subset is geselecteerd op basis van de relatief eenvoudige en herleidbare logica voor het bepalen van relevantie. Voor een vervolgtraject is het raadzaam om de beslisstructuur van het Forum Standaardisatie te analyseren en te vertalen naar een gestructureerde AI-prompt. De relevante prompt zou er als volgt uit kunnen zien:

"Jouw taak is om te bepalen welke standaarden relevant zijn voor een ICT-aanbesteding, op basis van een set documenten die door de gebruiker wordt aangeleverd. Formatteer het antwoord als JSON volgens het opgegeven schema. De relevantie van de standaarden dient uitsluitend te worden bepaald aan de hand van de volgende logica:

• Indien beveiliging een rol speelt en de aanbesteding betrekking heeft op een voorziening die e-mails verstuurt of ontvangt, dan zijn de volgende standaarden relevant:
  • DKIM
  • DMARC
  • SPF
  • STARTTLS
  • DANE
• Indien beveiliging een rol speelt en de voorziening gegevens verstuurt of ontvangt via een openbaar netwerk (zoals internet), dan is de volgende standaard relevant:
  • TLS
• Indien de voorziening voorziet in het vastleggen, uitwisselen of hergebruiken van gegevens over stedelijk waterbeheer, dan is de volgende standaard relevant:
  • GWSW"

Deze prompt representeert een tekstuele beslisboom waarmee, via inhoudelijke en contextuele vragen, de relevantie van open standaarden systematisch kan worden bepaald. Hiermee fungeert de prompt als een dynamisch hulpmiddel dat AI in staat stelt om de toepasbaarheid van standaarden nauwkeurig en situatieafhankelijk in te schatten.

Prompt 2 – Documentanalyse 

Op basis van de uitkomsten van prompt 1 wordt per geïdentificeerde standaard onderzocht of deze expliciet en correct is opgenomen in de aanbestedingsdocumentatie. Voor deze analyse is achtergrondinformatie over de standaarden afkomstig van het Forum Standaardisatie toegevoegd aan de AI-modellen, zodat het systeem beter kon interpreteren wat het moest zoeken en beoordelen. 

De POC is uitgevoerd op een representatieve subset van standaarden, waaronder: 

• TLS (Transport Layer Security)
• GWSW (Gegevenswoordenboek Stedelijk Waterbeheer)
• E-mailbeveiligingsstandaarden zoals SPF, DKIM, DMARC, DANE en STARTTLS 

Een belangrijke bevinding uit deze fase was dat het analyseren per standaard – in plaats van een allesomvattende prompt voor meerdere standaarden tegelijk – leidde tot significante kwaliteitsverbetering in de resultaten. De gekozen structuur van twee gescheiden prompttypen bleek effectief en schaalbaar. 

3. Bevindingen 

De gecombineerde inzet van de twee typen prompts leverde veelbelovende resultaten op. Het systeem bleek in staat om: 

• Relevante standaarden te identificeren op basis van kenmerken van de aanbesteding;
• Aanbestedingsdocumentatie te doorzoeken op expliciete verwijzingen naar die standaarden;
• Te beoordelen of de standaard expliciet en verplicht is opgenomen, of slechts zijdelings wordt genoemd;
• Locaties en context van de standaarden in het document te specificeren. 

Voorbeeldcase: Aanbesteding 24 – Stichting IKZ 

Bij analyse van deze aanbesteding met behulp van prompt 1 werd vastgesteld dat e-mailbeveiliging en datatransmissie over openbare netwerken belangrijke kenmerken waren. Hierdoor werden de volgende standaarden als relevant aangemerkt: DKIM, DMARC, SPF, STARTTLS, DANE en TLS. GWSW werd correct als niet-relevant beoordeeld, aangezien de aanbesteding geen betrekking had op stedelijk waterbeheer. 

Vervolgens werd prompt 2 gebruikt om te onderzoeken of bijvoorbeeld DKIM werd genoemd in de aanbestedingsdocumentatie. Het systeem vond een expliciete vermelding in hoofdstuk 4.3, onder eis UW_7, waarin de standaard als verplicht werd geëist. Deze analyse toonde niet alleen de aanwezigheid van de standaard aan, maar gaf ook context: het ging om een expliciete verplichting, niet slechts een vrijblijvende suggestie. 

Samengevat: 

De AI-tool demonstreerde het vermogen om: 

• Systematisch relevante standaarden te identificeren op basis van de aard van een aanbesteding;
• Efficiënt te detecteren en analyseren waar en hoe deze standaarden in de aanbestedingsdocumenten zijn opgenomen;
• Transparante, traceerbare output te genereren inclusief motivatie en documentlocatie. 

Hoewel deze resultaten zeer positief zijn, blijft menselijke beoordeling essentieel. De AI kan ondersteuning bieden, maar is (nog) geen volwaardige vervanging van de professionele beoordelaar. 

4. Aanbevelingen 

Op basis van de uitkomsten van deze POC worden de volgende vervolgstappen aanbevolen: 

1. Uitbreiding van de promptdekking 

Breid de tekstuele beslisstructuur van prompt 1 uit naar alle relevante open standaarden op de ‘pas toe of leg uit’-lijst. Dit vereist het opnemen van de specifieke beoordelingscriteria zoals vastgelegd in de "Uitgangspunten beoordeling aanbestedingen MOS 2025" en andere relevante bronnen. 

2. Ontwikkeling van een basisapplicatie (MVP) 

Ontwikkel een rudimentaire applicatie rondom de AI-prompts. Deze toepassing zou: 

• Gebruikers in staat moeten stellen aanbestedingsdocumenten te uploaden;
• Automatisch relevante standaarden identificeren;
• De documentanalyse uitvoeren per standaard;
• Een gestructureerd rapport genereren met bevindingen per standaard. 

3. Inzet als “derde beoordelaar” 

Gebruik de AI-tool als ondersteunende, derde beoordelaar naast de twee menselijke beoordelaars. De AI voert zelfstandig een analyse uit, waarna de resultaten vergeleken kunnen worden met de beoordelingen van de menselijke beoordelaars. Deze vergelijking kan: 

• Inzichten opleveren in eventuele blinde vlekken;
• Discussies onder beoordelaars structureren;
• Consistentie bevorderen;
• Het beoordelingsproces versnellen zonder aan kwaliteit in te boeten. 

Deze aanpak is volledig in lijn met het uitgangspunt dat AI ondersteunend is aan, en niet leidend boven, de menselijke professional. 

Verkenning van bredere inzet in het aanbestedingsproces

Hoewel deze POC zich richtte op de inzet van AI in de beoordelingsfase, ligt er potentie in toepassing in een eerdere fase van het aanbestedingsproces — namelijk bij het opstellen van het programma van eisen en wensen voorafgaand aan publicatie van de aanbesteding. In deze fase kan AI helpen bij het signaleren van relevante standaarden. Hierbij moet echter rekening worden gehouden met het feit dat deze voorbereidende fase vaak vertrouwelijke informatie bevat, wat verhoogde eisen stelt aan gegevensbescherming en systeembeveiliging.

Afstemming met overheidsbrede kaders generatieve AI

Bij de inzet van generatieve AI binnen de context van deze Proof of Concept is nadrukkelijk oog voor de overheidsbrede kaders zoals beschreven in de Overheidsbrede handreiking voor de verantwoorde inzet van generatieve AI (Rijksoverheid, april 2025). Deze handreiking biedt concrete richtlijnen voor de toepassing van generatieve AI binnen overheidsorganisaties en benadrukt het belang van juridische zorgvuldigheid, ethische verantwoording, transparantie en informatiebeveiliging.

In de POC is uitsluitend gebruik gemaakt van openbare, op Tenderned gepubliceerde, aanbestedingsstukken. Er zijn tijdens de POC geen persoonsgegevens verwerkt. Deze POC richtte zich op het verkennen van technische haalbaarheid binnen het beoordelingsproces. Voor een eventuele doorontwikkeling en bredere implementatie — bijvoorbeeld als ondersteuning in de voorbereidingsfase van aanbestedingen — geldt dat deze expliciet dient te worden afgestemd op deze overheidsbrede uitgangspunten. Dit omvat onder meer:

• Het uitvoeren van risicoanalyses zoals een DPIA of AI Impact Assessment;
• Het waarborgen van menselijke tussenkomst en controle;
• Het documenteren en publiceren van AI-toepassingen conform het Algoritmeregister;
• En het naleven van de AI-verordening en relevante AVG-vereisten.

Met deze afstemming wordt geborgd dat de inzet van AI niet alleen effectief en efficiënt is, maar ook voldoet aan publieke waarden en wettelijke kaders.

Demonstratie als aanvullende communicatiemiddel

Tot slot is het belangrijk op te merken dat een schriftelijke beschrijving van de POC slechts beperkt recht doet aan de mogelijkheden van AI. Een live demonstratie is een effectievere manier om de werking, toegevoegde waarde én beperkingen van een tool inzichtelijk te maken voor stakeholders en besluitvormers.

5. Conclusie 

De resultaten van deze Proof of Concept tonen overtuigend aan dat kunstmatige intelligentie een waardevolle rol kan spelen in het ondersteunen van de beoordeling van aanbestedingen op open standaarden. Door relevante standaarden automatisch te identificeren en te analyseren of deze expliciet en correct zijn uitgevraagd, biedt de AI-tool potentieel een substantiële bijdrage aan de efficiëntie en consistentie van het beoordelingsproces. 

Tegelijkertijd blijft menselijke expertise cruciaal. AI dient gezien te worden als een hulpmiddel – een derde beoordelaar – die het werk van de professionele beoordelaars versterkt en aanvult. Verdere ontwikkeling en implementatie van deze technologie kan bijdragen aan een toekomstbestendige, datagedreven en betrouwbare Monitor Open Standaarden.