Software is onmisbaar in het hedendaagse leven. Men kan niet zonder. Maar waar software is zijn softwarefouten. Om de risico’s zo laag mogelijk te houden, is gestructureerd testen belangrijk. Door digitale transformatie en een agile manier van werken, moet er meer getest worden dan ooit. Tijdens het testen worden bevindingen geregistreerd. Het is van groot belang om testbevindingen goed vast te leggen. Hieronder een top vijf van belangrijke uitgangspunten voor het registreren van testbevindingen.
1. Reproduceerbaar of niet?
Het kan enorm veel tijd schelen wanneer testbevindingen reproduceerbaar zijn. Tijdens het testen blijkt bijvoorbeeld een functie niet te werken zoals omschreven, verwacht of voorspeld. Voordat deze “fout” enkel wordt vastgelegd als bevinding, is het eerst belangrijk om te kijken of de bevinding reproduceerbaar is. Als het lukt om steeds hetzelfde resultaat te krijgen bij het doorlopen van dezelfde stappen, is de bevinding reproduceerbaar. Wanneer dit goed wordt vastgelegd in de bevinding dan kan degene die de bevinding moet oplossen in één keer de bevinding reproduceren door de vastgelegde stappen te volgen. Dit scheelt veel extra (doorloop)tijd. In veel gevallen komt de bevinding enkele dagen later onopgelost terug bij de tester met daarbij het verzoek om meer informatie te verstrekken. Dan is het de vraag of de tester dan nog de exacte stappen kan achterhalen om de fout na te bootsen.
Op het moment dat er een fout wordt gevonden, is het dus belangrijk om de testbevinding direct te reproduceren en de precieze stappen in de bevinding te zetten. Wanneer gebruik wordt gemaakt van de testmanagement tool Testersuite dan gebeurt dit automatisch. Bij het registreren van een bevinding tijdens het uitvoeren van een testcase worden de teststappen overgenomen in de bevinding. Daarbij wordt aangegeven op welke teststap de bevinding betrekking heeft en wat het resultaat van de voorgaande stappen was. Bovendien is het raadzaam om schermprints bij te voegen bij een bevinding. Al deze extra contextinformatie verhoogt de reproduceerbaarheid aan de kant van de (veelal externe) oplossende partij.
2. Een heldere omschrijving
Er kan een stuk efficiënter gewerkt worden als testbevindingen worden voorzien van een heldere omschrijving. Maar waar kunnen deze omschrijvingen overzichtelijk worden geplaatst? Vaak gaan er mailtjes over en weer tussen de personen die betrokken zijn bij het testtraject. Hierdoor is het vaak onduidelijk welke status het testtraject heeft. De testmanagement tool Testersuite maakt het mogelijk om alles vast te leggen in één omgeving. Bovendien is het wel raadzaam om onderscheid te maken tussen een korte en een lange omschrijving van een bevinding. De testmanagement tool Testersuite maakt dit onderscheid al.
De korte omschrijving bestaat uit één zin en wordt getoond in de algemene bevindingenlijst. Hierbij is het belangrijk om zowel het probleem te benoemen als de context waarin dit probleem zich voordoet. De korte omschrijving ‘Foutmelding 1423 bij openen zoekscherm Debiteuren’ is vele malen veelzeggender dan de (te) korte omschrijving ‘Fout in zoekscherm’.
De lange omschrijving bevat uitgebreidere informatie over de bevinding en hoe deze gereproduceerd kan worden. Deze omschrijving bevat minimaal de volgende informatie:
- Uitgebreide foutomschrijving
- Manier om de fout te reproduceren
- Het verwachte resultaat en de afwijking daarop
- Eventueel verwijzing naar documenten of ontwerpen met de correcte werking
Zoals eerder aangegeven is het van grote meerwaarde als het uitgevoerde testscript en/of schermprints worden vastgelegd in de bevinding.
3. Prioriteren van testbevindingen
Als er een grote wijziging plaatsvindt, waarbij er veel getest moet worden, is het niet uitzonderlijk dat er enkele honderden bevindingen worden vastgelegd. In het begin van de testfase worden sneller nieuwe testbevindingen vastgelegd dan dat er testbevindingen worden opgelost. Uit ervaring blijkt dat hardnekkige fouten soms lang blijven liggen, omdat deze vaak het meest complex zijn. Hierdoor is vastleggen van prioriteiten onmisbaar waarbij de testbevindingen met de hoogste prioriteit als eerste worden opgepakt. Het is ook van groot belang dat er duidelijke afspraken worden gemaakt over het bepalen van de prioriteiten. Vaak wordt een eerste prioriteit bepaald door degene die de bevinding registreert en vindt er een review plaats door de coördinator van een testtraject. Daarnaast moet voor alle betrokken partijen duidelijk zijn wat de betekenis is van de verschillende prioriteiten.
Enkele voorbeeld prioriteiten met een mogelijke betekenis:
- Urgent; Blokkerend voor het proces, geen work arounds beschikbaar
- Hoog; Blokkerend voor het proces, work around mogelijk
- Midden; Niet blokkerend voor het proces
- Laag; Cosmetisch, nice-to-have, etc.
4. Afhandeling
Nadat een testbevinding is gereproduceerd, voorzien van een heldere omschrijving en de juiste prioriteit, dient deze te worden toegewezen aan een ‘behandelaar’. Dit kan een collega zijn voor verdere analyse, een leverancier/implementatiepartner of een functionaris uit de business. Op het moment dat het een grote testfase omvat met veel bevindingen, kan er worden aanbevolen om een test coördinator aan te stellen. Deze persoon heeft de taak om de nieuwe testbevindingen te beoordelen op volledigheid (zie punt 1, 2 en 3). Vervolgens wijst hij/zij de testbevinding toe aan de behandelaar. Dit wordt ook wel ‘dispatching’ van testbevindingen genoemd.
5. Traceerbaarheid
Het vinden en (laten) oplossen van bevindingen komt over het algemeen ten goede aan de kwaliteit van het systeem richting de Go Live. Met iedere opgeloste bevinding bevat het systeem immers minder fouten. Echter, de gevonden testbevindingen zeggen ook in algemenere zin iets over de kwaliteit.
Onderdelen van het systeem met veel fouten – of het nu om maatwerk transacties, interfaces of rapportages gaat – zijn wellicht van een mindere kwaliteit ten opzicht van onderdelen met geen of weinig bevindingen. Wanneer veel urgente testbevindingen worden gevonden binnen een belangrijk systeemonderdeel, is het verstandig om dit onderdeel nader onder de loep te nemen. Om deze reden is het van belang om bevindingen te ‘koppelen’ aan het systeemonderdeel (requirement, SAP transactie, interface, rapportage, etc) waarop ze van toepassing zijn. Hierdoor krijg je meer inzicht in de algehele kwaliteit. Dit inzicht is nodig om richting de Go Live een positief advies te geven.
Wanneer moet worden samengewerkt met verschillende afdelingen of zelfs externe partijen, voldoen de meeste ‘lijstjes’ niet meer. Testersuite is een voorbeeld van een gebruiksvriendelijke tool voor onder andere registratie van testbevindingen. Een dergelijke tool voegt veel toe op het gebied van traceerbaarheid en afhandeling via workflows. Testersuite FREE is een gratis product waarmee je binnen twee minuten met alle betrokkenen in het testproces aan de slag kan. Daarmee zijn lijstjes met bevindingen in Excel, Sharepoint of zelfs per mail niet meer van deze tijd.
Meer weten over dit onderwerp? Plan een vrijblijvend adviesgesprek met ons in.
