Seu chefe quer saber quão bons andam seus testes de software, o que responder?

Com o advento das metodologias e processos ágeis, várias práticas e princípios foram implementados para cada vez mais construir um software de qualidade. Mas, como sabemos se realmente, tanto o processo quanto o produto, atenderam à essa expectativa?

Como estão os seus testes?

Imagine a seguinte situação: seu chefe te chama para uma reunião e faz a seguinte pergunta: “Como estão os testes? Estão sendo eficazes? Estão detectando todas as falhas existentes no software?”. Qual seria sua resposta? Estão bons? Mais ou menos?

Ahh, mas você como um profissional preparado tem alguns dados interessantes, tipo: “Encontramos 15 falhas até agora!”. Mas a pergunta ainda é: Isso é pouco ou muito?

“Se você não pode medir, você não pode gerenciar”

Esta frase do Peter Drucker se aplica bem nesta situação

Em um artigo recente o professor Martin Tornquist ensinou de uma forma bem didática como se calcula a Eficácia dos Testes, que nada mais é que um indicador para demonstrar o quão bom foi o trabalho da equipe de testes na detecção de falhas.

Como no exercício de imaginação proposto acima, nenhum gestor aceita (ou deveria aceitar) respostas do tipo “bom”, “ruim”, “mais ou menos”. Todas as respostas de uma equipe de testes, no que tange a gestão da qualidade, deveriam ser de forma substanciada e assertiva, ou seja, com números, afinal, praticamos “Engenharia de Qualidade”!

A Eficácia dos Testes também permite estimar o número de falhas em produção!

Conforme mencionado, a métrica de Eficácia de Testes (EfT ou DDE Defect Detection Efficiency em inglês) serve para indicar se a equipe de testes está fazendo um bom trabalho, ou seja, se ela foi eficaz na detecção das falhas existentes no software.

Mas essa métrica não indica só isso.

A partir do momento que esse tipo de métrica e seu respectivo indicador é extraído, é possível fazer projeções de quantas falhas possivelmente ainda serão descobertas no ambiente de produção.

Por exemplo: caso a EfT média de uma equipe de Testes no último ano foi de digamos 90% e até a conclusão dos testes foram detectadas 50 falhas, podemos estimar o número de potenciais falhas em produção entre 5 e 6 ((50/90%*(100%-90%) = 5,5)). Com esta informação podemos decidir se continuamos os testes ou liberamos em produção assim mesmo.

Indicadores não são para avaliar pessoas, e sim produtos e processos.

Mas uma coisa sempre tem que ser lembrada: indicadores não são para avaliar pessoas, e sim produtos e processos. A partir do momento que você tem esses indicadores, como o da Eficácia de Testes que estamos falando, você pode fazer análises mais aprofundadas e sempre propor melhorias no processo de testes e capacitação de seus profissionais.

Testes manuais conseguem alcançar EfT entre 90%-96%

Um bom processo de testes manual deveria ter uma eficácia girando em torno 93%±3pp. Com essa eficácia, os custos associados a retrabalhos e perdas de negócio, ficariam dentro do aceitável (mas geralmente não suficiente para tornar a empresa competitiva).

Testes automatizados inteligentes conseguem alcançar EfT entre 99%-99,99%

Para alcançar Eficácias de Teste excelentes, digamos entre 99% e 99,99%, dentro de custos e prazos viáveis, precisamos lançar mão de automação inteligente de Testes (vide nosso serviço iQRTA).

Esta diferença na EfT dos Testes Manuais e Automatizados parece pequena, mas corresponde a uma redução de falhas em produção de 10X (qualidade 10X melhor), pelo menos!

Mostramos aqui alguns motivos do porquê devemos extrair esse indicador. Se você não extrair essa métrica em seus projetos, você nunca saberá se seu trabalho está indo no caminho certo.

E a pergunta inicial persiste: Quão bons são seus testes?

Você pode responder da seguinte forma, por exemplo:

“Aplicamos nosso processo de testes padrão (com EfT de 90% e um custo de esforço de 20% do projeto), localizamos 45 falhas no prazo regulamentar dos testes e estimamos o potencial de falhas em produção como sendo de 5-6 falhas, ainda”