Une loi de probabilité, ou distribution de probabilité, est une fonction qui à un évènement associe un nombre , sa probabilité. Ce nombre traduit les chances que l'évènement a de se produire. Le moyen le plus intuitif de définir une telle fonction est de répéter l'expérience aléatoire, et d'associer à tout évènement sa fréquence expérimentale. Si est le nombre d'expériences, le nombre de fois où l'évènement s'est produit, la fréquence expérimentale de est le rapport . Voici par exemple répétitions d'une expérience dont les éventualités sont 0, 1 et 2.
Dans cet exemple, la fréquence expérimentale de est , celle de est . L'inconvénient est que la fréquence expérimentale changera si on renouvelle les expériences. En d'autres termes l'ensemble des répétitions constitue une nouvelle expérience aléatoire . Cependant nous avons tous en tête une idée de la loi des grands nombres selon laquelle les fréquences expérimentales sur un grand nombre de répétitions varient peu. Voici quatre calculs successifs de la fréquence expérimentale de , sur répétitions de la même expérience que ci-dessus.
Les propriétés que l'on attend d'une probabilité sont celles des fréquences expérimentales. On les considère comme des axiomes de définition.
Une conséquence immédiate des axiomes Ax2 et Ax3 est la relation entre les probabilités d'un évènement et de son complémentaire, noté .
Les lois de probabilité que l'on manipule en pratique sont de deux types.
Exemple : Si l'ensemble des résultats est fini et si aucune information ne permet de distinguer les résultats, il est naturel d'associer à chaque éventualité la probabilité . La probabilité de tout évènement est alors Card. Cette probabilité particulière s'appelle l'équiprobabilité. Tous les calculs dans ce cas se ramènent à des dénombrements :
Etant donnée une densité de probabilité, on définit une loi de probabilité sur en associant à tout évènement l'intégrale de la densité sur cet évènement.
Exemple : Pour l'expérience aléatoire consistant à tirer au hasard un réel dans (appel de Random), on considèrera sur la loi de probabilité continue, de densité :
Elle donne à tout intervalle inclus dans une probabilité égale à sa longueur.
Comme dans l'exemple ci-dessus, il est fréquent qu'une densité soit strictement positive sur un intervalle (éventuellement non borné) de , et nulle ailleurs. L'intervalle sur lequel est strictement positive s'appelle le support de la loi.
On peut voir une probabilité comme une répartition de masse sur l'ensemble des éventualités. La masse totale vaut 1. Dans le cas discret, elle est répartie sur chacune des éventualités en "grains de plomb" distincts. Dans le cas continu, elle est répartie sur tout un intervalle de , qui devient comme un fil de masse 1 dont la densité de masse serait variable. Calculer la probabilité d'un évènement, c'est calculer sa masse. A part cette analogie, quel sens pratique a la notion de probabilité ? Peut-on mesurer physiquement des probabilités ? Le seul sens concret que l'on puisse leur donner est celui, intuitif, de la loi des grands nombres. "Pile a une chance sur deux de se produire" signifie pour nous "Si je lance la pièce un grand nombre de fois, Pile sortira environ une fois sur deux."
Intuition : La probabilité d'un évènement est la limite de ses fréquences expérimentales sur un grand nombre d'expériences indépendantes.
Cette intuition comporte plusieurs coins d'ombres. Que les fréquences expérimentales convergent sous certaines hypothèses est un théorème (c'est ce théorème qui porte le nom de loi des grands nombres). Pourquoi rajouter l'adjectif "indépendantes" ?
Imaginez une machine de précision à lancer les pièces : un bras articulé muni d'un plateau, relié à un ressort réglable à une valeur fixée une fois pour toutes. Mettons le ressort sous tension, posons la pièce sur le plateau, côté pile, et lâchons le ressort. Au premier essai on ne pourra pas prévoir si la pièce tombera sur pile ou face. Mais l'information apportée par le résultat du premier essai permettra de prévoir les suivants : les expériences ne seront pas indépendantes. Les fréquences expérimentales vaudront 1 ou 0 mais ne fourniront aucun renseignement sur le fait que la pièce soit équilibrée ou non.
L'objectif principal du paragraphe suivant est de préciser les notions de dépendance et d'indépendance d'évènements et d'expériences aléatoires.