UAT-checklist voor een CRM-go-live

Vóór de UAT

De meeste UAT's die misgaan, gaan hier mis: onduidelijke scope, scripts die niemand heeft gecontroleerd, testers zonder werkend account.

Scope

• Spreek af welke processen en user stories in de UAT zitten, en schrijf op wat er niet in zit.
• Wijs per proces een eigenaar uit de business aan: degene die de sign-off geeft.
• Spreek af wat Critical, High, Medium en Low betekenen voordat het eerste issue wordt gelogd.

Testcases

• Schrijf één testcase per businessscenario, in de woorden van de mensen die het testen.
• Geef elke stap een actie en een verwacht resultaat, en testdata waar dat nodig is.
• Markeer elke testcase als Must, Should of Could, zodat de belangrijke als eerste worden getest.
• Voeg de unhappy paths toe: een verkeerde waarde, een ontbrekend veld, een gebruiker zonder de juiste rol.
• Controleer of elke user story in scope minstens één testcase heeft.
• Laat een key user uit de business de scripts beoordelen vóór de testdagen.

Testers

• Kies testers die het werk elke dag doen, uit elk team dat het systeem gebruikt.
• Geef elke tester een groep en eigen scripts.
• Blokkeer de testdagen in hun agenda en stel ze vrij van hun dagelijkse werk.
• Instrueer ze in een half uur: hoe ze een resultaat vastleggen en hoe ze een issue loggen.

Omgeving en testdata

• Richt een testomgeving in die op productie lijkt: configuratie, integraties en data.
• Maak een testaccount voor elke rol aan, en controleer of met elk account kan worden ingelogd.
• Laad de testdata: klanten, producten, prijslijsten en openstaande records.
• Gebruik waar het kan testdata in plaats van klantdata.
• Spreek af wanneer fixes tijdens de testdagen naar de testomgeving gaan.

Planning

• Plan de testdagen in blokken, met elke dag een vast tijdstip voor de triage.
• Houd tijd vrij voor een hertestronde na de fixes.
• Leg de datum van het go/no-go-overleg vast, en nodig de stuurgroep nu al uit.
• Controleer de releasekalender van Salesforce of Dynamics 365: een platformrelease midden in je UAT verandert wat je test.

Startcriteria

• De systeemtest is klaar, en er staat geen Critical defect daaruit meer open.
• De testomgeving, de testaccounts en de testdata staan klaar.
• De business heeft de testcases beoordeeld.
• Elke tester is uitgenodigd en heeft één keer ingelogd.

Tijdens de UAT

Houd de dagen kort en de informatie op één plek, zodat problemen op dezelfde dag worden gevonden, besloten en opgelost.

Dagelijkse stand-up

• Begin elke dag met een kwartier: wat is er getest, wat blokkeert, wat staat er vandaag gepland.
• Vergelijk de voortgang per groep met de planning, en zet testers in waar ze nodig zijn.

Issues loggen

• Log één issue per probleem, met de stap, wat je verwachtte en wat er in plaats daarvan gebeurde.
• Voeg een screenshot en de link naar het record toe.
• Zoek eerst naar een bestaand issue, zodat hetzelfde probleem niet twee keer wordt gelogd.
• Zorg dat elke mislukte stap een issue heeft, of een reden waarom niet.

Triage

• Houd elke dag de triage, met de business en het ontwikkelteam samen.
• Geef elk nieuw issue een ernst, een prioriteit en iemand die het oplost.
• Besluit per issue: oplossen, afwijzen of omzetten in een change request.
• Zet change requests op de backlog, niet in deze release.

Hertesten

• Laat de tester die het issue vond het hertesten zodra de fix is uitgerold.
• Schrijf op op welke release en build elke hertest is gedaan.
• Start een nieuwe ronde na een grote fix, en test de processen rond de fix opnieuw.

De UAT afronden

De UAT eindigt met een besluit. Neem het op basis van feiten, en schrijf op wie wat heeft besloten.

Eindcriteria

• Elke Must-testcase is geslaagd.
• Er staat geen Critical issue open.
• Elk open High issue heeft een workaround of een datum voor de fix die de business accepteert.
• Elke testcase in scope heeft een resultaat.

Sign-off

• Vraag de eigenaar van elk proces om een sign-off: geaccepteerd, geaccepteerd onder voorwaarden of afgewezen.
• Schrijf elke voorwaarde op, met wie het doet en wanneer het klaar moet zijn.

Go/no-go

• Houd het go/no-go-overleg met de cijfers op het scherm, niet uit het hoofd.
• Leg het besluit vast, met de voorwaarden en wie het heeft genomen.

Het rapport

• Vermeld wat er in scope was, en wat er niet is getest.
• Toon de resultaten per groep en per prioriteit, en de release en build die zijn getest.
• Zet de open issues op ernst, met het besluit per issue.
• Voeg de sign-offs toe, met hun voorwaarden.
• Benoem de bekende risico's en workarounds voor de eerste weken na de go-live.

Na de go-live

• Bewaar de testcases: ze vormen de regressietest voor de volgende CRM-release.
• Schrijf op wat je bij de volgende UAT anders doet, nu het nog vers is.