MATH206 : Probabilités et Statistiques

Feuilles de TD : 1 2 3

Introduction

Statistique descriptive: décrire avec le moins possible de nombres (ou avec un graphique) des données constituées d'un (très) grand nombre de valeur.

Probabilité: prédire la description précédente sans faire de mesure (à l'aide d'hypothèses).

Statistique mathématique ou inférentielle: comparer la prédiction à la mesure et confirmer ou infirmer des hypothèses scientifiques.

Exemple du dé juste.

Vocabulaire de probabilité

• Population  : Groupe d'objets étudiés. Elle peut-être :
  • "réelle" : les Français, les étudiants de ce cours...
  • "virtuelle" : l'ensemble des lancés de dés possibles...
• Sous-population, échantillon
• Expérience  : Choisir un élément dans une population.
• Evénement : L'événement se produit lorsque l'élément appartient à la sous-population.
• Partition  : Découpage d'un ensemble en plusieurs sous-ensembles disjoints.
• Cardinal  : Nombre d'éléments d'un ensemble.
• Fréquence d'un sous ensemble A ⊂ Ω : $F(A)={\frac {\displaystyle {card(A)}}{\displaystyle {card}(\Omega )}}$
• Variable aléatoire et Série statistique  : Application d'une population Ω dans un ensemble G quelconque.

Estimateur ponctuel

• Moyenne et espérance (rappel et "sens")

Formule de la moyenne (resp. espérance) d'une série statistique (resp. variable aléatore) X sur un population $\Omega$:

$\displaystyle M(X)=E(X)={\frac {\sum _{i\in \Omega }X_{i}}{Card(\Omega )}}$

Remarque: pour avoir le droit d'écrire $E(X)$ il faut que $X$ soit une variable aléatoire numérique, c-à-d une application de $\Omega$ dans $\mathbb {R}$ (remarque hors programme : un espace vectoriel suffirait).

La moyenne est le nombre x qui remplace le mieux $X_{i}$ pour l'ensemble de la population quand on regarde l' erreur quadratique donnée par la formule suivante (preuve facile en dérivant f): $\displaystyle f(x)=\sum _{i\in \Omega }(X_{i}-x)^{2}$

On définit deux types d'erreurs :

1. l'erreur absolue  : $\sum _{i\in \Omega }\mid X_{i}-x\mid$
2. l'erreur quadratique  : $\sum _{i\in \Omega }(X_{i}-x)^{2}$

On choisit la seconde car la première est plus compliquée.

L'erreur quadratique est aussi liée à la variance V(X) car:

$\displaystyle V(X)={\frac {\sum _{i\in \Omega }(X_{i}-E(X))^{2}}{Card(\Omega )}}={\frac {f(E(x))}{Card(\Omega )}}$

• Propriété de la moyenne (linéarité) : $E(X+Y)=E(X)+E(Y)$ et $E(aX)=aE(X)$.
• Propriété de la variance : $V(X)=E(X^{2})-E(X)^{2}$ et $V(aX)=a^{2}V(X)$

Notation:

• $i\mapsto ...$ désigne la fonction qui a $i$ associe le contenu des trois petits points. Cela évite de donner des noms à toutes les fonctions (et donc toutes les variables alétoires) ou d'utiliser trop de notations ambigües.

Démonstration de $V(X)=E(X^{2})-E(X)^{2}$
${\begin{aligned}V(X)&={\frac {\sum _{i\in \Omega }(X_{i}-E(X))^{2}}{Card(\Omega )}}\\&=E(i\mapsto (X_{i}-E(X))^{2})\\&=E(i\mapsto X_{i}^{2}-2X_{i}E(X)+E(X)^{2})\\&=E(i\mapsto X_{i}^{2})-2E(X)E(i\mapsto X_{i})+E(i\mapsto E(X)^{2})\\&=E(X^{2})-2E(X)^{2}+E(X)^{2}\\&=E(X^{2})-E(X)^{2}\end{aligned}}$

• Définition d'estimateur et de biais :

Un estimateur est une "formule" permettant de donner une bonne approximation d'un paramètre statistique à partir de la variable aléatoire restreinte à un échantillon.

Un estimateur estime un paramètre P(X) si il converge vers P(X) lorsque la taille de l'échantillon tend vers la taille de la population (cela n'a de sens que sur les populations infinies ...)

Un estimateur pour P(X) est sans biais, si son espérance est égale à P(X) lorsqu'on le considère comme une variable aléatoire sur la population des échantillons de taille n fabriquées à partir de $\Omega$ (notée $\Omega ^{(n)}$ si il s'agit d'échantillon sans répétition (ou remise) et sans ordre et $\Omega ^{n}$ pour les échantillons avec répétitions (avec remise) et avec ordre).

Notation:

• ${\hat {P}}(X)$ désigne la valeur du paramètre statistique $P$ sur un échantillon (ici implicite).

Estimateur de la moyenne : la moyenne sur l'échantillon est un estimateur sans biais de la moyenne sur la population entière.

Démonstration :
Soit $(A_{1};...;A_{n})$ l'échantillon (avec ou sans répétition, la preuve est identique) et 
${\hat {E}}(X)={\frac {\sum _{i=1}^{n}X_{A_{i}}}{n}}$ la moyenne sur l'échantillon. 
On a:
${\begin{aligned}E({\hat {E}}(X))&=E\left(A\mapsto {\frac {\sum _{i=1}^{n}X_{A_{i}}}{n}}\right)\\&={\frac {1}{n}}\sum _{i=1}^{n}E(A\mapsto X_{A_{i}})\\&={\frac {1}{n}}nE(X)=E(X)\end{aligned}}$
Explication:
- La première égalité est juste le remplacement de ${\hat {E}}(X)$ par sa vraie définition, 
c'est à dire la variable aléatoire qui à l'échantillon $A$ associe la moyenne de $X$
sur cet échantillon.
- La seconde égalité est juste la linéarité de l'espérance. On doit numéroter les éléments de l'échantillon
pour pouvoir faire cette étape sinon la preuve n'est pas tout à fait correcte. 
- La troisième égalité vient du fait que pour chaque $i$ on a $E(A\mapsto X_{A_{i}})=E(X)$.
C'est intuitivement vrai, car prendre un échantillon de taille $n$ pour ne retenir que sa i-ème valeur,
revient à juste prendre un individu. Si vous n'êtes pas convaincu, faite le calcul !

• Estimateur de la variance (avec et sans remise) :

Si on note ${\hat {V}}(X)$ la variance d'un échantillon de taille n dans une population de taille N, on obtient un estimateur sans biais de la variance avec les formules suivantes:

$\displaystyle {\frac {n}{n-1}}{\hat {V}}(X)$ dans le cas de tirage avec remise de l'échantillon

$\displaystyle {\frac {N-1}{N}}{\frac {n}{n-1}}{\hat {V}}(X)$ dans le cas de tirage sans remise (qui vaut bien $\sigma ^{2}$ lorque n = N).

Démonstration :
 Calcul préalable :  Soit X une variable aléatoire sur Ω, On définit $Y=(i,j)\mapsto X_{i}X_{j}$ la variable aléatoire sur 
$\Omega \times \Omega$ (avec remise) ou sur $\Omega \times \Omega \setminus \{(i,i)\mid i\in \Omega \}$ (sans remise).
* avec remise : 
${\begin{aligned}E(Y)&={\frac {1}{N^{2}}}\left(\sum _{i,j\in \Omega }X_{i}X_{j}\right)\\&={\frac {1}{N^{2}}}\left(\sum _{i\in \Omega }X_{i}\sum _{j\in \Omega }X_{j}\right)\\&=E(X)^{2}\end{aligned}}$
* sans remise : 
${\begin{aligned}E(Y)&={\frac {\sum _{i,j\in \Omega ;i\neq j}X_{i}X_{j}}{N^{2}-N}}\\&={\frac {\sum _{i,j\in \Omega }X_{i}X_{j}-\sum _{i\in \Omega }X_{i}^{2}}{N(N-1)}}\\&={\frac {\left(\sum _{i\in \Omega }X_{i}\right)^{2}-\sum _{i\in \Omega }X_{i}^{2}}{N(N-1)}}\\&=E(X)^{2}{\frac {N}{N-1}}-{\frac {E(X^{2})}{N-1}}\end{aligned}}$
 Fin de la démonstration : Soit Ω une population de taille N, soit X une variable aléatoire sur Ω, on s'intéresse aux échantillons de taille n. 
On a V(X) variance de la population et ${\hat {V}}(X)$ la variance d'un échantillon $A=\{a_{1},\dots ,a_{n}\}$ de taille
$n$. Là encore, la notation ${\hat {V}}(X)$ ne fait pas appraître le fait que cette quantité dépend de $A$. On a 
${\begin{aligned}{\hat {V}}(X)&={\hat {E}}(X^{2})-{\hat {E}}(X)^{2}\\&={\frac {1}{n}}\sum _{i=1}^{n}X_{a_{i}}^{2}-{\frac {1}{n^{2}}}\sum _{1\leq i,j\leq n}X_{a_{i}}X_{a_{j}}\\&={\frac {n-1}{n^{2}}}\sum _{i=1}^{n}X_{a_{i}}^{2}-{\frac {1}{n^{2}}}\sum _{1\leq i\neq j\leq n}X_{a_{i}}X_{a_{j}}\end{aligned}}$
D'où
${\begin{aligned}E(A\mapsto {\hat {V}}(X))&={\frac {n-1}{n^{2}}}\sum _{i=1}^{n}E(A\mapsto X_{a_{i}}^{2})-{\frac {1}{n^{2}}}\sum _{1\leq i\neq j\leq n}E(A\mapsto X_{a_{i}}X_{a_{j}})\\&={\frac {n-1}{n}}E(X^{2})-{\frac {n-1}{n}}E(Y)\end{aligned}}$ 
Pour finir, on utilise le résultat du calcul préalable.
* avec remise : $E(A\mapsto {\hat {V}}(X))={\frac {n-1}{n}}(E(X^{2})-E(X)^{2})={\frac {n-1}{n}}V(X)$
* sans remise : $E(A\mapsto {\hat {V}}(X))={\frac {n-1}{n}}(E(X^{2})-E(X)^{2}{\frac {N}{N-1}}+{\frac {E(X^{2})}{N-1}})={\frac {n-1}{n}}{\frac {N}{N-1}}V(X)$

On prend donc en général, pour estimateur sans biais de V(X) sur un échantillon $A\subset \Omega$ la valeur appelée variance empirique de Y : $\displaystyle \sigma '^{2}={\frac {1}{Card(A)-1}}\sum _{i\in A}(y_{i}-{\overline {y}})^{2}$

Remarque: pour faire le calcul pour l'estimateur de variance, le point principal est de calculer l'espérance de $X_{1}X_{2}$ où $X_{1}$ et $X_{2}$ sont deux variables aléatoires obtenues à partir d'une variable aléatoire X en choisissant deux individus au hasard. On a besoin de faire ce calcul à la fois pour un choix de deux individus avec remise et sans remise.

Un peu de dénombrement

• Cardinal du produit cartésien : le produit des cardinaux.

• Tirage sans ordre et sans remise de p parmi n, c-à-d nombre de parties à p éléments d'un ensemble à n éléments :

$\displaystyle C_{n}^{p}$

         Démonstration :
         On veut choisir p+1 éléments parmi n+1, sans ordre, sans remise. Soit $E_{n}^{p}$ l'ensemble des parties à p éléments de {1;...;n}.
         $E_{n+1}^{p+1}=F_{n+1}^{p+1}\cup G_{n+1}^{p+1}$ de sorte que $F_{n+1}^{p+1}$ est l'ensemble des p+1 éléments qui contiennent n+1,
         et $G_{n+1}^{p+1}$ est l'ensemble des p+1 éléments qui ne contiennent pas n+1. On a $F_{n+1}^{p+1}\cap G_{n+1}^{p+1}=\emptyset$. 
         D'autre part $G_{n+1}^{p+1}=E_{n}^{p+1}$. Soit f: $E_{n}^{p}\rightarrow F_{n+1}^{p+1}$, $card(E_{n+1}^{p+1})=card(E_{n}^{p})+card(E_{n}^{p+1})$
         Remarque :  Deux ensembles en bijection ont le même cardinal.

• Tirage avec ordre et sans remise de p parmi n, c-à-d nombre de p-uplets d'un ensemble à n éléments (nombre d'injections de {1;...;p} dans un ensemble à n éléments) :

$\displaystyle A_{n}^{p}$

         Démonstration:
         Soit $A_{n}^{p}$ le nombre d'injection, $A_{n}^{1}=n$ et $A_{n+1}^{p+1}=(n+1)\times A_{n}^{p}$. 
         D'où $A_{n}^{p}=nA_{n-1}^{p-1}=n(n-1)(n-2)...(n-p+1)$

• Tirage avec ordre et avec remise de p parmi n, c-à-d nombre de tirage avec remise et avec ordre de p-élemnts parmis n (nombre d'applications de {1;...;p} dans un ensemble à n éléments) :

$n^{p}$

         Démonstration :
         $card(E\times E\times E\times ...\times E)=(cardE)^{p}=n^{p}$

• Tirage sans ordre et avec remise de p parmi n :

$\displaystyle C_{n+p-1}^{p}=C_{n+p-1}^{n-1}$

         Démonstration : 
         On place n-1 jetons dans n+p-1 cases, il reste p cases libres. Il y a $C_{n+p-1}^{n-1}=C_{n-1+p}^{p}$ choix. 
         Soit f: $E\rightarrow {\begin{Bmatrix}0;\dots ;p\end{Bmatrix}}$ soit f associe à x le nombre de fois où x a été choisi. 
        On a $\sum _{x\in E}f(x)=p$, ce qui revient à n-1 jetons et p cases vides.

Choix de p éléments parmi n

Ordre\Remise	Sans (0≤p≤n)	Avec (0≤p)
Sans	$\displaystyle C_{n}^{p}$	$\displaystyle C_{n+p-1}^{p}$
Avec	$\displaystyle A_{n}^{p}$	$n^{p}$

Rappel des formules usuelles pour les coefficients binomiaux :

• avec factorielle : $\displaystyle C_{n}^{p}={\frac {A_{n}^{p}}{p!}}={\frac {n!}{(n-p)!p!}}={\frac {n(n-1)...(n-p+1)}{p!}}$
• triangle de Pascal : $\displaystyle C_{n}^{0}=C_{n}^{n}=1,C_{n}^{n-p}=C_{n}^{p}$ et $\displaystyle C_{n+1}^{p+1}=C_{n}^{p}+C_{n}^{p+1}(0\leq p\leq n-1)$
• Formule du binôme de Newton et applications comme $\displaystyle \sum _{p=0}^{n}C_{n}^{p}=2^{n}$.

         Démonstration : 
         Soit $f(x)=(x+1)^{n}$, $f(x)=\sum _{p=0}^{n}C_{n}^{p}x^{p}$. En particulier, f(1)=2n.

Probabilité et lois usuelles

• Probabilité (ou loi de probabilité) sur un ensemble $\Omega$: un nombre associé P(E) aux sous-ensembles $E\subset \Omega$ d'un ensemble (pas toujours tous les sous-ensembles) tel que :
  • $P(\emptyset )=0$
  • $P(\Omega )=1$
  • $P(E\cup F)=P(E)+P(F)$ si $E\cap F=\emptyset$

Conséquences :

μ (A ^C)=1- μ (A)

$[(A\Rightarrow B)\Leftrightarrow (A\subset B)]\Rightarrow \mu (B)\geq \mu (A)$

$\mu (A\cup B)=\mu (A)+\mu (B)-\mu (A\cap B)$ si A et B non disjoints.

• Évènements = Sous-ensemble . Evénements certains, impossibles, incompatibles. Implication entre évènement et inégalité sur les probas.
• Cas des ensembles finis et probabilité uniforme :

Pour définir une loi de probabilité sur un ensemble fini Ω, il suffit de donner la probabilité des singletons.

         Démonstration : 
         A={x1;...;xn} avec n=card(A). A={x1} ∪ {x2} ∪ ... ∪ {xn} où les singletons sont disjoints. 
         D'où μ (A)= μ (x1) + ... + μ (xn). Donner une loi sur Ω fini, c'est donner μ (x) pour tout x de Ω.

La loi de probabilité uniforme sur Ω fini est l'unique probabilité sur Ω telle que μ (x)=p pour tout x dans Ω avec $p={\frac {1}{card(\Omega )}}$.

         Démonstration : 
         Ω = {x1;...;xN} avec N=card(Ω). D'où μ (Ω)= μ (x1) + ... + μ (xN)=Np. Or μ (Ω)=1. Donc p=1/N.

Si A ⊂ Ω et μ est une loi de probabilité uniforme sur Ω alors $\mu (A)={\frac {card(A)}{card(\Omega )}}$.

         Démonstration : 
         N=card(Ω) et n=card(A) où A={x1;...; xn</sub}. 
         On a $\mu (A)=\sum _{i=1}^{n}\mu (x_{i})=\sum _{i=1}^{n}{\frac {1}{N}}={\frac {n}{N}}$.

• Loi image (image réciproque d'un ensemble Ω dans Ω') :

Soit X une variable aléatoire sur Ω, à valeurs dans Ω' (X fonction de Ω dans Ω'). On a une loi μ sur Ω. On construit une loi sur Ω', image de μ par X et notée μ_X. On a pour A inclus dans Ω μ (A)=μ (X^-1(A)).

Si Ω est un ensemble ordonné et μ une loi sur Ω, on définit F la fonction de répartition telle que $x\in \Omega ,F(x)=\mu (\{a\in \Omega \mid a\leq x\})$. F est croissante et tend vers 1.

         Démonstration :
         Si x ≤ y ∈ Ω et  {a/ a ≤ x} ⊂ {a/a ≤ y } alors μ ({a/a ≤ x}) ≤ μ ({a/a ≤ y}); d'où F(x) ≤ F(y).

• Variable aléatoire discrète
• Lois discrètes usuelles
  • Loi indicatrice ou loi de Bernouilli (I(p)) :

Soit X une variable aléatoire sur Ω à valeurs dans {0;1}. X(x)=1 si et seulement si x ∈ E ⊂ Ω (E=X^-1(1)).

Cette loi est déterminée par μ _X (1)= μ (E)=p (d'où μ _X (0)= μ (E^C)=1-p).

Espérance : E(X)=p

Variance : V(X)=p(1-p)

Ecart-type : $\sigma (X)={\sqrt {p(1-p)}}$

• • Loi de Pascal (Pa(p)) :

Ω est muni d'une loi uniforme, E ∈ Ω est un événement. On réalise plusieurs expériences indépendantes jusqu'à obtenir un succès. Soit X le nombre total d'expériences (succès inclus). X est à valeurs dans lN*.

Cette loi est déterminée par μ (E)=p ∈ ]0;1[; μ (X=k)=(1-p) ^k-1p ∈ ]0;1[.

Espérance : E(X)=1/p

Variance : V(X)=(1-p)/(p²)

Ecart-type : $\sigma (X)={\sqrt {1-p}}/p$

• • Loi binomiale
  • Loi hypergéométrique
  • Loi de Poisson
• Lois continues

Intervalle de confiance

Resumes