“Em tempo de Eficácia de Vacinas, como anda a Eficácia de seus Testes de Software?”

Eficácia de Testes

• Também chamada de ‘Eficiência de Testes’ (EfT), mede a Eficiência de Detecção de Falhas ( em inglês: DDE-Defect Detection Efficiency) para os diversas etapas de Teste realizados (normalmente apenas dos Testes de Sistema e de Aceite, mas deveríamos incluir os testes Unitários)

Cálculo da Eficácia de Testes

• A EfT avalia qual a proporção de falhas encontradas pelos Testes em relação às falhas encontradas em Produção (considera tipicamente as falhas ocorridas nos primeiros 30 ou 90 dias em produção, por isso somente pode ser medida após a liberação do software: é um indicador reativo)

Exemplo de Cálculo de EfT

• Se o número de falhas encontrado nos Testes Unitários, de Sistema, de Aceite e em Produção for, respectivamente, de 20, 100, 10 e 5:
• Podemos calcular várias Eficácias de Teste:
  • EfT_{testes unitários}        = (20)/(20+100+10+5)                   = 20/135              = 0,14 ou 14%
  • EfT_{testes sistema}              = (100)/(100+10+5)                        = 100/115           
    • Obs.: Para este cálculo retiramos as 20 falhas localizadas pelos testes unitários
    = 0,86 ou 86%
  • EfT_{testes aceite}           = (10)/(10+5)                                    = 10/15               
    • Obs.: Para este cálculo retiramos as 20 e 100 falhas localizadas pelos testes unitários e de sistema
    = 0,66 ou 66%
  • EfT_{global dos testes}      = (20+100+10)/(20+100+10+5) = 130/135             = 0,96 ou 96%
• Observe como eficácias de teste distintas e relativamente baixas em cada etapa de Teste geram uma Eficácia Global final superior

Cálculo da Eficácia de Testes por Severidade das Falhas

• Também podemos considerar calcular a EfT em função da severidade das falhas:
  • Digamos que das 20, 100, 10 e 5 falhas localizadas acima, respectivamente, 2, 15, 1 e 4 sejam de alta severidade. Neste caso a:
  • EfT_{global dos testes}      = (2+15+1)/(2+15+1+4)                                = 18/22                = 0,81 ou 81%
• A Eft_global para todas as falhas foi de 96%, mas considerando apenas as falhas de alta severidade, foi de apenas 81%, um mau resultado!

Qual seria um bom valor para Eficácia de Testes?

• Para bons testes manuais é economicamente viável obter-se EfT na ordem de 93%±3pp com uma excelente equipe e processo de testes (quer melhorar seu processo de testes, conheça nosso serviço iQPM (Intelligent Quality Process Management)
  • Testes manuais inadequados obtém apenas EfT de 75%±5pp, o que gera baixa qualidade em produção, um número excessivo de retrabalhos e insatisfação dos clientes e desenvolvedores

Como obter uma Eficácia de Testes > 99,99%?

• Qualquer software relevante exige uma EfT>99,99% que somente pode ser alcançada de maneira econômica e temporalmente viável via Automação Inteligente de Testes (vide nosso serviço iQRTA (Intelligent Quality Robotic Test Automation) aliado a uma excelente equipe e processo de testes!

Quer saber mais sobre como podemos ajudá-lo? Entre em contato com a gente!