Om de ontwikkelingen in onze vakgebieden nauwkeurig te blijven volgen, interviewen wij regelmatig experts uit de praktijk. In een serie gesprekken met eindverantwoordelijken voor audit, risk en/of compliance en stellen wij de vraag: welke ontwikkelingen zie je en hoe ga je daarmee om? In deze ARC People (vak)praat focussen we ons op Artificial Intelligence (AI) en automatisering in het auditproces. Hiervoor interviewen we Maikel de Maertelaere (Director Quality & Assurance) en Jeremy Oschmann (IT auditor) van Schuberg Philis.
Schuberg Philis: AI en automatisering in het auditproces
Schuberg Philis is een Nederlandse IT-dienstverlener die gespecialiseerd is in mission-critical IT-services. Dit houdt in dat ze IT-systemen beheren en beveiligen die essentieel zijn voor de bedrijfsvoering van hun klanten. Vaak met een sterke relatie tot vitale industrieën en met een sterke focus op betrouwbaarheid, veiligheid en continuïteit. Quality & Assurance binnen Schuberg Philis heeft de laatste jaren grote stappen gezet qua automatisering en toepassing van AI in het auditproces. Voldoende aanleiding om ze te interviewen en te vragen hoe zij dat doen en wat hun ervaringen zijn.
1. Kunnen jullie de rol van jullie team kort toelichten?
Als team zijn wij verantwoordelijk voor het opzetten, bewaken en valideren van ons Quality Management Systeem (QMS). We ontwikkelen de kwaliteitsstandaard binnen verschillende belangrijke thema’s: security, privacy, technologie, compliance en duurzaamheid. Door de gemeenschappelijke factor in deze thema’s te vinden en te combineren, kunnen we sterke controls ontwikkelen en complexiteit reduceren. Hierdoor blijft de kwaliteit vanuit elk perspectief zichtbaar en meetbaar.
Een voorbeeld is ons Integrated Control Framework (ICF), dat is afgestemd op twaalf veelgebruikte standaarden. Onlangs is ook de Digital Operational Resilience Act (DORA) toegevoegd. Door ons DORA-control raamwerk, dat inmiddels door de NOREA-DORA Taskforce als marktstandaard is vastgesteld, zijn onze klantenteams vanaf dag één DORA-compliant. Hiermee dragen we bij aan de ontwikkeling van marktstandaarden.
Verder begeleiden we en voeren we zowel de interne als externe audits uit (in 2024 zijn dit er 55). Door onze groei en de toenemende Europese compliance-vereisten stijgt dit aantal jaarlijks.
2. Waarom is gekozen om AI te integreren in het auditproces?
In onze sector, met bedrijfs- en IT-kritische processen, is de vraag naar zekerheid groot. Interne en externe audits, certificeringen en Third Party Assurance zijn essentieel. We leggen de lat hoog en streven ernaar de volledige populatie te testen. Elk klantenteam is afgestemd op specifieke klantwensen, wat leidt tot complexe audits. Om efficiënt te blijven werken bij het groeiende aantal audits, kiezen we ervoor om te investeren in automatisering en AI in plaats van ons team eindeloos uit te breiden.
3. Hoe past Schuberg Philis AI en automatisering toe in het auditproces?
Om die vraag goed te kunnen beantwoorden is het goed om te weten dat wij altijd full-population testen door geautomatiseerde rapportages voor servicemanagement en security controls. We weten waar we de benodigde data kunnen vinden om bijvoorbeeld patching en backups te controleren, en verzamelen deze data automatisch. Hierdoor wordt 70% van de bewijslast van ons ICF automatisch verzameld, wat nu al twee auditdagen per audit bespaart. En die twee dagen moeten we vooral in perspectief zetten. Hoeveel tijd zou het een gemiddelde audit afdeling kosten om het merendeel van de bewijslast full-population over een heel jaar te verzamelen voor 25+ controls, ik vermoed meer dan twee dagen.
De volgende stap is om AI in te zetten voor een eerste analyse van de verzamelde data. Op basis van het Large Language Model (LLM) en interne templates testen we of AI de kwaliteit van vastgelegde afspraken en procedures kan beoordelen. Zo hopen we binnenkort ook de grote hoeveelheden tickets voor incident- en changemanagement efficiënt te analyseren. Nu gebeurt dat nog op kleine schaal.
4. Welke taken worden nu door AI uitgevoerd en welke door medewerkers?
Momenteel wordt vooral de interpretatie van bewijslast door AI uitgevoerd. De volgende stap is dat AI de control testing overneemt, zodat in de toekomst de junior auditor rol niet meer nodig is. Dit houdt in dat AI straks de eerste bewijslast verzamelt, beoordeelt en vastlegt in het auditdossier. Het auditteam richt zich dan voornamelijk op de review van de AI-output en het benoemen van de bevindingen en de impact daarvan.
5. Hoe is de AI-toepassing getoetst en vinden er tussentijdse checks plaats?
AI op deze schaal is nieuw en soms een ‘black box’. Daarom hebben we onze omgeving op verschillende aspecten doorgelicht, zoals technische opzet, dataprivacy en beveiliging, kosten, en hopelijk binnenkort ook de CO2-impact.
We toetsen AI met wat we ‘slimme vragen’ noemen: specifieke vragen waar experts het juiste antwoord uit documentatie kunnen halen. Met deze vragen en betrouwbaarheidspercentages toetsen we of AI de juiste antwoorden geeft.
6. Heeft AI de kwaliteit van audits beïnvloed?
Voorlopig behalen we vooral voordelen op het gebied van efficiëntie. Automatisering maakt het mogelijk frequenter en sneller te toetsen, wat de auditdruk vermindert voor ons en de klantenteams. Ook al laat het AI-aspect nog wat langer op zich wachten, de huidige automatisering is al een enorme stap vooruit.
7. Kunnen zaken nu continu worden geaudit of gemonitord?
Dit is een interessante vraag. ‘Continu’ kan betekenen wekelijks, dagelijks of zelfs per minuut. Hoewel ‘Continuous Monitoring’ en ‘Continuous Assurance’ vaak worden gezien als de heilige graal, moeten we nog bepalen wat dit in de praktijk inhoudt. Voor veel klanten zou een maandelijkse update met auditresultaten al een belangrijke stap zijn. We zetten het nu vooral in op ‘standaard’ audits.
8. Welke andere voordelen heeft AI opgeleverd voor de afdeling en organisatie?
Wanneer we de business vragen of ze kwaliteit belangrijk vinden, krijgen we unaniem ‘ja’ te horen. Door AI kunnen we deze kwaliteit frequenter testen zonder extra werkdruk voor de klantenteams. Automatisering en AI helpen ons om kwaliteit in control te houden en tegelijkertijd de compliance-druk te verlagen.
9. Hoe zet het team de bespaarde tijd in?
De bespaarde tijd besteden we aan kwaliteitsverbeteringen. Zonder automatisering zouden de 50+ interne/externe audits alle capaciteit opslokken. Door AI en automatisering kunnen we nu ook andere initiatieven opzetten, zoals het DORA-control raamwerk en compliance-advies voor klanten. Naast de directe impact op ons team, zit er vooral ook veel meerwaarde voor de teams in scope van onze audits. De tijd die de business kwijt is aan compliance lijkt elk jaar verder te groeien, en als we niet oppassen gaat dit ten koste van het leveren van directe klantwaarde. Door de compliance druk op de business te verminderen, houden we de focus op klantwaarde.
10. Welke uitdagingen kwamen jullie tegen bij de AI-implementatie?
Ons team bestaat uit IT-auditors met veel kennis en ervaring, maar niet op het gebied van coderen. Gelukkig konden engineers ons ondersteunen bij het ontwikkelen van audit scripts. Deze scripts vereisen per klantenteam aanpassingen, wat in eerste instantie een tijdsinvestering vergt. Maar zodra dit werkt, plukken we daar in de toekomst de vruchten van.
11. Welke risico’s kleven er naar jullie mening aan het gebruik van AI in audits?
Er zijn risico’s zoals de verwerking van data binnen een ‘black box’ van een grote public cloud. Hoewel deze transparanter worden, was dat tot voor kort nog niet altijd het geval. We draaien onze AI toepassingen binnen een private setup, waarbij de gebruikte data binnen die omgeving blijft en niet wordt teruggevoerd richting het LLM. AI kan soms onduidelijke conclusies trekken, en daarom zijn meerdere tests opgezet om AI-besluiten inzichtelijk te maken. We zorgen ook voor een menselijke review, om te voorkomen dat we te afhankelijk worden van AI.
Daarnaast is er een filosofische vraag: als we basistaken in het auditproces door AI laten uitvoeren, missen nieuwe auditors dan niet een cruciaal leerproces?
12. Zien jullie nog andere mogelijkheden voor AI binnen de auditfunctie?
Niet alleen binnen de auditfunctie, maar ook breder in Governance, Risk en Compliance. AI kan bijvoorbeeld contracten beoordelen, wat veel tijd kan besparen. Ook bij het opstellen van beleidsstukken kan AI een basisdocument maken, eventueel voorzien van basistekst.
13. Hoe reageerde het auditteam op de invoering van AI?
Ons jonge en ambitieuze team stond vanaf dag één open voor AI. Het team gelooft in de visie van ‘Continuous Assurance’ en ziet AI als een kans om het auditberoep verder te ontwikkelen en meer waarde te bieden aan zowel de organisatie als de maatschappij.
14. Welk advies zou u andere organisaties geven die AI willen implementeren in hun auditprocessen?
Experimenteer! Vraag de IT-afdeling om een veilige “playground” en oefen bijvoorbeeld met ChatGPT. Blijf open voor mogelijkheden, maar stel ook ‘responsible use’ richtlijnen op. Wij zijn gestart met een AI Manifest dat collega’s uitnodigt om te innoveren op een ethische en veilige manier. Vraag de business of ze meer kwaliteit willen leveren en minder compliance-druk willen ervaren — het antwoord is vrijwel zeker ‘ja’!
Interesse in dit onderwerp of wilt u meer informatie over AI binnen Audit, Risk en Compliance? Neem contact op met Marc van Heese of Anita van der Leeuw.
