In deze bijzondere editie van Let’s Talk About Test praten we met Henk van de Wardt, Testmanager bij PGGM Vermogensbeheer. In dit vraaggesprek vertelt hij hoe Testersuite ingezet wordt in combinatie met test-automatisering. Let’s talk about test-automation!
"Zorg dat je het handmatig testen op orde hebt. Ga dan pas aan de slag met testautomatisering"
Even een heads up: Wie is Henk?
Mijn naam is Henk. Geboren in Rhenen en woonachtig in Opheusden. Ik heb het daar prima naar mijn zin samen met mijn vriendin en onze hond. We werken nu allebei een halfjaar vanuit huis en dat gaat prima!
Een paar keer per week train ik op de fiets. In de negentiger jaren heb ik wedstrijden gefietst in de ATB-sportklasse voor het team Koga Miyata. Dat was in de tijd dat Bart Brentjes goud won op de Olympische spelen.
Tijdens mijn deeltijd hbo-studie ben ik als tester bij Justitie gaan werken. Testen was toen voor mij een middel om te kunnen afstuderen. Uiteindelijk is testen mijn vak geworden. Dat doe ik nog steeds met heel veel passie en plezier. Testers worden wel eens gezien als zure mensen maar uiteindelijk ben je de thermometer van de organisatie. Je bent de spin in het web en dat vind ik leuk aan testen.
Wat is jouw rol in het testproces van PGGM Vermogensbeheer?
Het testvak kent veel rollen. Dat gaat van testmanager tot tester. Mijn rol bestaat uit het hele spectrum. Van het managen van testprojecten tot en met zelf testen. Je ziet dat dit steeds meer de rol van de testprofessional wordt. Professionals die alleen coördineren, managen of testen worden steeds minder gevraagd. Je moet tegenwoordig alles kunnen.
Maar wat is dan jouw taak als allround tester?
Als je het testen volgens de letter van de wet toepast in projecten komt er nergens meer groenlicht. Mijn taak is om dat goed te managen. Er bestaat geen honderdprocent foutloos en ook geen honderdprocent testen. Wat wel bestaat is het managen van risico’s. Dat is in de kern waar testen over gaat. Je moet zorgen dat het testproces met de andere onderdelen binnen een project als een tandwielkast in elkaar draait. Dus niet het project frustreren maar versterken door op juiste wijze te testen. Als dat goed gaat vragen ze je terug voor een volgend project.
De IT bestaat bij de gratie van de business. De business is veel volwassener geworden de afgelopen jaren. Vroeger bepaalde IT waarmee gewerkt werd. Nu geeft de business aan hoe en waarmee ze willen werken. Veel organisaties hebben dit nog steeds niet goed voor elkaar.
Testen moet inzichtelijk maken of dat wat de business gevraagd heeft ook wordt opgeleverd. Daar ligt mijn taak.
Waarom is er bij PGGM Vermogensbeheer gekozen voor een test-automatisering-tool?
Er wordt heel veel getest door de business. Dat is een neventaak. Om de business te ontlasten met regressietesten is testautomatisering toegepast. Een ander aspect is dat je geautomatiseerd meer tests in een kortere tijd kan draaien dus neemt de testdekking en daarmee de betrouwbaarheid toe.
"De tijdwinst zit het hem in het feit dat je meer kan testen in korte tijd"
Dus daarmee verkort je het testproces?
Niet direct. Het beoordelen van de testresultaten blijft mensenwerk. Testbevindingen moeten door mensen bekeken en beoordeeld worden. Een testbevinding kan het gevolg zijn van tal van oorzaken. Denk hierbij aan een fout in een script of testcase, een fout in het proces of een verkeerde inrichting van de automation-tool. Daarnaast kan er ook een hick-up in het systeem zijn geweest of is er een echte bug gevonden. Dit uitzoeken en oplossen blijft toch mensenwerk. Dat wordt wel eens vergeten. De tijdwinst zit het hem in het feit dat je meer kan testen in korte tijd.
Er komt dus nog wel handmatig werk bij kijken!
Precies! De fout die vaak gemaakt wordt is dat men denkt dat test-automation testers bespaart en dus geld. Men vergeet dat je scripts moet ontwikkelen en onderhouden, de tool moet inrichten en beheren en de resultaten moet beheren en daarop acteren. De winst zit vooral in de testdekking en snelheid.
Waarom is er bij PGGM Vermogensbeheer gekozen voor een testmanagement-tool?
Testen is de thermometer binnen IT-projecten. Je moet daarover op eenduidige manier en kwalitatief rapporteren. Een testmanagement-tool is daarin erg belangrijk. Hierin bereid je (regressie)testen voor, koppel je ze aan producten en/of requirements, plan je ze in, voer je ze uit en registreer je bevindingen. Ik heb daardoor overzicht. Alles staat centraal in een beveiligde omgeving. Dit is voor mij de basis om te automatiseren en te rapporteren.
Waar begin je in dit hele proces? Automation of management tool?
Het automatiseren van testen kan pas als het handmatig testen op orde is. Wanneer je testcases in de testmanagement-tool staan, vormt dat de basis voor je test-automation-tool. Om zaken transparant en inzichtelijk te hebben en te kunnen managen, is een testmanagement-tool van cruciaal belang.
De test-automation-tool Microfocus UFT was hier al werkzaam maar niet ideaal opgezet. Dat hebben we recht getrokken door onder andere te starten met Testersuite. Het adagium is dus breng eerst het testproces op orde met een testmanagement-tool en maak dan de stap naar testautomatisering.
"Ik kan nu direct de voortgang en de kwaliteit rapporteren van het handmatig en geautomatiseerd testen"
Waarom de koppeling tussen de Microfocus en Testersuite?
Overzicht en eenduidigheid. Ik kan nu direct de voortgang en de kwaliteit rapporteren van het handmatig en geautomatiseerd testen. Dat is een enorm voordeel. Daarom hebben we deze koppeling tot stand laten brengen.
Was de koppeling eenvoudig tot stand te brengen?
Een API lijkt vaak eenvoudig. In de praktijk is dat niet altijd waar. Maar in de samenwerking met Testersuite ging dit eigenlijk vrij snel. Het is ook een kwestie van de juiste mensen inzetten. Ik ga daar zelf niet tussen zitten want ik spreek de technische taal niet. Als er een projectmanager tussen gaat zitten ontstaat er veel redundantie en vertraging. Daar hadden we geen last van door onze werkwijze. Onze mensen en de Testersuite mensen hebben nauw samengewerkt en begrepen elkaar. In twee weken was het geregeld.
Wat brengt jou de koppeling tussen Testersuite en Microfocus?
Direct inzicht over de voortgang en kwaliteit van de geautomatiseerde testen. Ook voor de projectmanager en release manager. Die kunnen dit ook terugzien in Testersuite. Realtime informatie levert inzicht in status van kwaliteit en planning. Het geeft je stuurinformatie voor tijd (hoeveel werk nog te doen), planning (gaan we de deadline halen) en geld.
Voor de te automatiseren regressietestcases is een custom veld aangemaakt waarmee we op eenvoudige wijze de workload voor de testautomatiseerders inzichtelijk hebben.
Hoe ziet de toekomst eruit, handmatig testen of geautomatiseerd testen?
Ik voer die discussies wel eens. Testen is verspilling is een leuke stelling. Kijk, als er foutloos wordt gebouwd hoef je niet meer te testen. Dat gaat net zomin gebeuren als dat testautomatisering handmatig testen gaat vervangen.
Het zal naast elkaar bestaan en elkaar aanvullen. Je moet namelijk altijd beoordelen of dat wat gebouwd is, in lijn is met wat de business wil. Dat gaat ook over look en feel. Hoe ga je dat testen via automatisering?
Praktijktesten blijft de belangrijkste graadmeter. Een mooi voorbeeld daarvan is een auto gebouwd door computersimulaties. Bij de eerste praktijktest met een eland lag de auto al op zijn kant.
"is er juist gebouwd en is het juiste gebouwd?"
Praktijktesten is dus de sleutel tot het succes?
Testen geeft antwoord op twee vragen: is er juist gebouwd en is het juiste gebouwd? De eerste vraag is prima te automatiseren. De tweede vraag bevat een menselijk aspect die moeilijk te automatiseren valt. Handmatig testen blijft dus bestaan naast geautomatiseerd testen.
De business moet vroeg betrokken worden bij IT-projecten. Er zijn legio voorbeelden van software die juist gebouwd is maar niet bruikbaar is voor de business. Daar gaat het mis met de requirements (mis-match). Dus is het belangrijk dat je business vroeg betrekt bij je ontwikkeling en het testen. Dat valt niet te automatiseren.
Wat is jouw advies aan andere testmanagers die test-automation overwegen?
Zorg dat je het handmatig testen op orde hebt. Ga dan pas aan de slag met testautomatisering.
Wil je nog iets kwijt?
Ja, zeker. De no-nonsense aanpak van Testersuite in onze samenwerking voor de API-koppeling zorgde ervoor dat dit snel op orde was. Daar hebben we nu de voordelen van.
Meer weten over dit onderwerp? Plan een vrijblijvend adviesgesprek met ons in.
