Quand une famille de lois, dépendant du paramètre inconnu
a été choisie, c'est de
l'échantillon
et de
lui seul, que l'on peut tirer les informations. On
appelle
estimateur
du paramètre
, toute
fonction de
l'échantillon,
prenant ses valeurs dans
l'ensemble des valeurs possibles pour
. Evidemment,
cette définition un peu vague cache l'espoir que les valeurs
prises par
l'estimateur
soient proches de la valeur cible
, qui est et restera inconnue.
Il importe de bien distinguer les
variables aléatoires,
liées à la
modélisation,
de leurs réalisations,
identifiées aux
données.
Un
échantillon
(théorique) est un -uplet de
variables aléatoires indépendantes
et de même loi
.
Pour estimer
, on propose un
estimateur,
fonction de l'
échantillon
:
Une fois un
modèle
choisi, on considèrera un -uplet de
données
comme une réalisation des
variables aléatoires
. La valeur (réelle)
prise par
:
Prenons l'exemple simple d'une pièce dont on ignore
si elle est ou non truquée.
La
probabilité
de tomber sur pile est le paramètre inconnu
. On se propose de réaliser 10 lancers de la pièce, que
l'on modélisera par un
échantillon
de taille 10 de la loi de
Bernoulli
de paramètre
. Le nombre de pile obtenu sur les 10
lancers est une
variable aléatoire
qui suit la
loi binomiale
. Le quotient de cette
variable aléatoire
par
(la fréquence) est un
estimateur
de
. Effectuons maintenant les dix lancers
en notant chaque fois 1 si pile sort, et 0 si c'est face. Une
réalisation de
l'échantillon
est par exemple :