A importância de Indicadores de Contraponto aos Indicadores de Testes de Software
Maio/2021
Trazer informações e indicadores em
reuniões de acompanhamento é o básico.
Porém, muitas vezes só o básico não é o suficiente.
Precisamos trazer outras métricas associadas
para fazer uma análise completa e assertiva.
Há muitos anos eu estava à frente de um projeto de testes para um grande cliente. Era minha primeira grande oportunidade de gerir um projeto de forma independente e sob minha total responsabilidade.
Existia uma reunião de acompanhamento que era feita toda sexta-feira pela manhã, onde tinha que viajar para outro Estado e me reunir com representantes de várias outras equipes e empresas.
Pois bem, em uma dessas reuniões eu apresentei um gráfico chamado carinhosamente de falhograma, mais ou menos como o exemplo abaixo:
Esse gráfico representa o número acumulado de defeitos que estão sendo abertos (linha azul) x defeitos que estão sendo corrigidos (linha vermelha) x defeitos que estão sendo retestados/fechados (linha verde).
Estas são informações básicas que qualquer gestor que esteja a frente de um projeto de testes deve ter em mãos. A intenção deste gráfico, pelo menos uma delas, é apresentar o “gap” entre falhas abertas e a capacidade de correção da equipe de desenvolvimento.
Ou seja, quanto maior este “gap”, menor é a capacidade de correção e/ou indica que o software em questão não tem uma qualidade mínima esperada.
Na minha visão, a época, era uma informação importantíssima que deveria ser reportada para o cliente. E realmente era, mas a pergunta do cliente que veio na sequência me pegou desprevenido: “… qual é a tendência de defeitos ainda a serem abertos?”
Claro que eu não tinha a resposta e muito pior, não sabia como obter essa informação! Nesse momento me recordei das aulas do meu curso preparatório para certificação onde o instrutor sempre falava que nós nunca podemos apresentar um indicador sem ter outro para fazer o contraponto do resultado, pois as informações contidas em um único indicador, podem não refletir a verdadeira situação em análise.
O que o cliente queria saber na época é: “O cenário apresentado é ruim, mas a tendência para os próximos dias ou semanas também será essa?”
Levei essa missão de volta para apresentar na próxima reunião, que além do falhograma, deveria apresentar uma projeção dos defeitos que ainda poderiam ser abertos nos próximos períodos. E como fazer isso?
Então, de forma resumida, vou apresentar uma forma prática e rápida[1] de como fazer uma aproximação dessa projeção.
| Digamos que você tenha o seguinte cenário durante os testes: -Escopo de testes (testes ou critérios de aceite a serem executados): 100 Testes já realizados: 45 Defeitos abertos: 8 Tendo esses dados em mãos, podemos fazer a seguinte métrica: Se eu executei 45 testes e encontrei 8 defeitos, isso quer dizer que na média, a cada 5,6 (45/8) testes executados eu encontro um defeito; Se eu ainda tenho 55 testes a serem executados, isso quer dizer que eu tenho uma tendência de abrir mais 10 defeitos, ou seja, 55/5,6 arredondado; Essa é a aproximação da informação que o cliente queria ter e que complementa o gráfico apresentado. |
Outra informação relevante é que destes 10 defeitos mui provavelmente apenas 2 (dois) serão de severidade Crítica e Alta, os demais 8 (oito) provavelmente serão de severidade média e baixa!
Obvio que podemos atrelar vários outros indicadores a este, como por exemplo: desses defeitos que possivelmente ainda serão abertos, qual será a reincidência deles? Ou seja, desses, quantos ainda voltarão sem estar corrigidos de forma correta? Ou até mesmo, para esses 10 defeitos a serem abertos, quanto isso representará de esforço e tempo adicional para correção e testes?
Enfim, são inúmeras as possibilidades, mas o que ficou para mim de toda esta história (e fica a dica para vocês), é que nunca um único indicador pode representar a verdadeira situação de um projeto ou demanda.
Essa pequena história serve para ilustrar que além de estarmos preparados para qualquer informação que porventura vamos passar, devemos fazer um exame rigoroso das mesmas, pois nem sempre uma única informação traz o que realmente o cenário apresenta.
Esse é um exemplo de conteúdo que é apresentado e ensinado durante o curso de certificação CPT–Certificação Profissional em Testes de Software do IBQTS que a TMi promove.
No dia a dia de qualquer analista de testes, conhecer e saber extrair indicadores é fundamental para conseguir medir/avaliar a qualidade de seu produto e de seu processo de desenvolvimento/teste.
Com indicadores de teste você dirige seu trabalho,
Sem indicadores de teste seu trabalho dirige você!
[1] Existem outras maneiras de obter esta projeção: a) baseada em StoryPoints, b) retroajustar a uma curva em “S” e não a uma curva linear como mostrado no exemplo