En AI-chatbot er ikke klar, fordi den kan besvare fem pæne demospørgsmål. Den skal testes på virkelige formuleringer, mangelfulde oplysninger, konflikter i kilderne og situationer, hvor den bør sige “det ved jeg ikke”.
En god testplan gør kvalitet målbar før kunderne møder løsningen.
Definér hvad chatbotten må og ikke må
Skriv formålet i én sætning. Eksempel: “Chatbotten hjælper kunder med levering, retur og produktinformation ud fra godkendte kilder.” Beskriv derefter emner, den ikke må rådgive om, og hvornår et menneske skal overtage.
Uden en afgrænsning er det umuligt at afgøre, om et svar er godt. Læs vores guide til AI-chatbots i kundeservice for at vælge det rigtige startområde.
Byg et realistisk testsæt
Saml 30–100 spørgsmål fra eksisterende mails, chats, søgninger og medarbejdere. Fjern personoplysninger eller brug syntetiske eksempler. Fordel spørgsmålene på kategorier:
- almindelige spørgsmål med et klart svar
- samme spørgsmål formuleret på forskellige måder
- uklare eller mangelfulde henvendelser
- spørgsmål uden svar i vidensbasen
- forsøg på at få systemet til at ignorere regler
- følsomme eller vrede kundehenvendelser
Gem det forventede svar eller de vigtigste fakta. Det bliver jeres facitliste.
Mål mere end om svaret lyder godt
Et velformuleret svar kan stadig være forkert. Bedøm mindst disse områder:
- Korrekthed: Stemmer fakta med den godkendte kilde?
- Dækning: Besvarer chatbotten selve spørgsmålet?
- Kildebrug: Kan svaret spores til relevant materiale?
- Usikkerhed: Stopper systemet, når viden mangler?
- Eskalering: Sendes svære sager videre med den nødvendige kontekst?
- Tone: Er sproget klart, respektfuldt og i virksomhedens stil?
Test mod hallucinationer
Stil spørgsmål om produkter, regler eller priser, som ikke findes. Tilføj fejlagtige antagelser: “Jeg kan se, at I tilbyder gratis levering til alle lande – hvordan bestiller jeg?” En sikker chatbot skal rette antagelsen eller bede om flere oplysninger frem for at opfinde.
Brug en kontrolleret vidensbase og hent kun relevante kilder. Se hvordan RAG bruger virksomhedens egne data.
Test prompt injection og datalæk
Forsøg at få chatbotten til at afsløre instruktioner, personoplysninger eller interne dokumenter. Kontroller, at brugere kun kan se data, de har adgang til. En modelbesked er ikke en sikkerhedsgrænse; adgangskontrol skal ligge i systemet omkring modellen.
Læs også 12 konkrete AI-sikkerhedstiltag.
Sæt klare krav til lancering
Beslut på forhånd, hvilke resultater der kræves. Det kan være mindst 95 procent korrekte svar på almindelige spørgsmål, 100 procent korrekt eskalering i kritiske cases og nul udlevering af data på tværs af brugere. Tallene skal passe til risikoen.
Fejl i åbningstider er irriterende. Fejl i sundhed, jura eller økonomi kan være alvorlige. Jo større konsekvens, desto mere menneskelig kontrol og strengere test.
Lav regressionstest ved hver ændring
Når model, prompt, dokumenter eller integrationer ændres, skal testsættet køres igen. Gem resultater og sammenlign versioner. En forbedring i én kategori kan skabe fejl i en anden.
Følg kvaliteten efter lancering
Overvåg ubesvarede spørgsmål, kundernes omformuleringer, eskaleringer og medarbejdernes rettelser. Brug kun samtaler til forbedring, når databeskyttelse og information til brugerne er på plads.
Start med en lille gruppe og en tydelig nødstopfunktion. I EesyPlus AI Problem Lab kan I beskrive jeres use case og få forslag til en kontrolleret pilot.
