Jusqu'ici nous n'avons testé qu'une seule hypothèse de modélisation . La seule erreur qui pouvait être quantifiée consistait à rejeter à tort. La probabilité de cette erreur est le seuil du test. Ne pas rejeter signifie seulement que rien ne s'est produit qui permette de la mettre en doute. Cela ne signifie pas que soit ``vraie'' (les lois de probabilité n'existent pas dans la nature). Nous allons nous placer désormais dans une situation où deux modèles sont en compétition. Les données disponibles devront nous permettre de prendre une décision sur , par référence à une autre hypothèse . On dit alors qu'on teste contre .
Prenons l'exemple d'un indicateur physiologique (taux d'une certaine substance dans le sang) dont une valeur élevée est un symptôme d'une certaine maladie. Comme d'habitude, on considèrera que le taux observé sur un individu est la réalisation d'une certaine variable aléatoire. Supposons que des études antérieures aient montré que chez un sujet sain, la valeur de suit la loi , alors que chez un sujet malade, elle suit la loi . Si la maladie est peu grave, et que le traitement comporte des risques pour le patient, le médecin choisira de privilégier l'hypothèse que son patient est en bonne santé : ce sera son hypothèse nulle . Elle sera testée par un test unilatéral à droite (rejet des valeurs de trop grandes). Au seuil , la règle de décision est :
On décidera donc que le patient est malade si son taux est supérieur à . Le seuil mesure le risque de rejeter à tort (déclarer malade un individu sain). Mais un autre risque consiste à ne pas rejeter alors que est vraie (ne pas diagnostiquer la maladie alors que le patient est effectivement atteint). On note la probabilité correspondante :
Ici la loi de sous l' hypothèse est la loi normale et donc :
Rejeter à tort est l'erreur de première espèce et le seuil est le risque de première espèce. Ne pas rejeter à tort est l'erreur de deuxième espèce et la probabilité de cette erreur est le risque de deuxième espèce. La probabilité de rejeter sous s'appelle la puissance du test.
Comme nous l'avons montré en exemple, il se peut que le risque de deuxième espèce soit assez important, alors que le seuil est fixé en définissant le test. L'erreur de première espèce est celle qu'on choisit de maîtriser, quitte à ignorer le risque de deuxième espèce. Cela induit une dissymétrie dans le traitement des deux hypothèses. La règle de rejet du test est définie uniquement à partir de et . Entre deux alternatives, on choisira pour l'hypothèse qu'il serait le plus grave de rejeter à tort.
Reprenons l'exemple du diagnostic mais supposons maintenant que la maladie est potentiellement très grave, mais facilement soignable. Le danger serait de ne pas la détecter. Le médecin choisira comme hypothèse nulle l'hypothèse que le patient est atteint.
Le test sera cette fois unilatéral à gauche (rejet des valeurs trop faibles). Au seuil 0.05, la règle de décision est :
On constate que est inférieur à . Ce test est donc différent du précédent. Selon la valeur de , les décisions peuvent coïncider ou non.