MATH206 : Probabilités et Statistiques

Feuilles de TD : 1

Introduction

Statistique descriptive: décrire avec le moins possible de nombres (ou avec un graphique) des données constituées d'un (très) grand nombre de valeur.

Probabilité: prédire la description précédente sans faire de mesure (à l'aide d'hypothèses).

Statistique mathématique ou inférentielle: comparer la prédiction à la mesure et confirmer ou infirmer des hypothèses scientifiques.

Exemple du dé juste.

Vocabulaire de probabilité

• Population  : Groupe d'objets étudiés. Elle peut-être :
  • "réelle" : les Français, les étudiants de ce cours...
  • "virtuelle" : l'ensemble des lancés de dés possibles...
• Sous-population, échantillon
• Expérience  : Choisir un élément dans une population.
• Evénement : L'événement se produit lorsque l'élément appartient à la sous-population.
• Partition  : Découpage d'un ensemble en plusieurs sous-ensembles disjoints.
• Cardinal  : Nombre d'éléments d'un ensemble.
• Fréquence d'un sous ensemble A ⊂ Ω : $F(A)={\frac {\displaystyle {card(A)}}{\displaystyle {card}(\Omega )}}$
• Variable aléatoire et Série statistique  : Application d'une population Ω dans un ensemble X quelconque.

Estimateur ponctuel

• Moyenne et espérance (rappel et "sens")

Formule de la moyenne (resp. espérance) d'une série statistique (resp. variable aléatore) X sur un population $\Omega$: $\displaystyle M(X)=E(X)={\frac {\sum _{i\in \Omega }X_{i}}{Card(\Omega )}}$ La moyenne est le nombre x qui remplace le mieux $X_{i}$ pour l'ensemble de la population quand on regarde l' erreur quadratique donnée par la formule suivante (preuve facile en dérivant f): $\displaystyle f(x)=\sum _{i\in \Omega }(X_{i}-x)^{2}$

On définit deux types d'erreurs :

1. l'erreur absolue  : $\sum _{i\in \Omega }\mid X_{i}-x\mid$
2. l'erreur quadratique  : $\sum _{i\in \Omega }(X_{i}-x)^{2}$

L'erreur quadratique est aussi liée à la variance V(X) car:

$\displaystyle V(X)={\frac {\sum _{i\in \Omega }(X_{i}-E(X))^{2}}{Card(\Omega )}}={\frac {f(E(x))}{Card(\Omega )}}$

Rappel : On a aussi $V(X)=E(X^{2})-E(X)^{2}$

• Propriété de la moyenne (linéarité) : E(X + Y) = E(X) + E(Y) et E(aX) = aE(X)

• Définition d'estimateur et de biais :

Un estimateur est une "formule" permettant de calculer un nombre à partir de la variable aléatoire restreinte à un échantillon.

Un estimateur estime un paramètre P(X) si il converge vers P(X) lorsque la taille de l'échantillon tend vers la taille de la population (cela n'a de sens que sur les populations infinies ...)

Un estimateur pour P(X) est sans biais, si son espérance est égale à P(X) lorsqu'on le considère comme une variable aléatoire sur la population des échantillons de taille n fabriquée à partir de $\Omega$ (notée $\Omega ^{(n)}$ si il s'agit d'échantillon sans répétition (ou remise) et sans ordre et $\Omega ^{n}$ pour les échantillons avec répétitions (avec remise) et avec ordre).

Quelques notations pour les preuves:

• $i\mapsto ...$ désigne la fonction qui a $i$ associe le contenu des trois petits points. Cela évite de donner des noms à toutes les fonctions ou d'utiliser trop de notations ambigue.
• ${\hat {P}}(X)$ désigne la valeur du paramètre statistique $P$ sur un échantillon (ici implicite).

Estimateur de la moyenne : la moyenne sur l'échantillon est un estimateur sans biais de la moyenne sur la population entière.

Démonstration :
Soit (A_1;...;A_n) l'échantillon (avec ou sans répétition, la preuve est identique) et ${\hat {E}}(X)={\frac {\sum _{i=1}^{n}X_{A_{i}}}{n}}$
la moyenne sur l'échantillon. On a:
Échec de l’analyse (fonction inconnue « \begin{align} »): {\displaystyle \begin{align}E(\hat{E}(X)) &= E\left(A \mapsto \frac{\sum_{i = 1}^n X_{A_i}}{n}\right)  \mbox{ $E$ \'etant lin\'eaire on a} \\                                            &= \frac{1}{n} \sum_{i = 1}^n E(A \mapsto X_{A_i})   \\                                              &= \frac{1}{n} n E(X) = E(X)\end{align}  }

Remarque ce calcul ne dépend pas du fait que l'échantillon soit avec ou sans remise.

• Estimateur de la variance (avec et sans remise) :

Si on note ${\hat {V}}(X)$ la variance d'un échantillon de taille n dans une population de taille N, on obtient un estimateur sans biais de la variance avec les formules suivantes:

$\displaystyle {\frac {n}{n-1}}{\hat {V}}(X)$ dans le cas de tirage avec remise de l'échantillon

$\displaystyle {\frac {N-1}{N}}{\frac {n}{n-1}}{\hat {V}}(X)$ dans le cas de tirage sans remise (qui vaut bien $\sigma ^{2}$ lorque n = N).

         Démonstration :
          Rappel préalable :  $V(X)=E((X-E(X))^{2})=E(X^{2}-2XE(X)+E(X)^{2})=E(X^{2})-2E(X)E(X)+E(x)^{2}=E(X^{2})-E(X)^{2}$
          Calcul préalable :  Soit X une variable aléatoire sur Ω, soient X1 et X2 deux variables aléatoires.
         ** avec remise : $E(X_{1}X_{2})={\frac {1}{N^{2}}}\left(\sum _{i,j\in \Omega }X_{i}X_{j}\right)=E(X)^{2}$
         ** sans remise : $E(X_{1}X_{2})={\frac {\sum _{i,j\in \Omega ;i\neq j}X_{i}X_{j}}{N(N-1)}}={\frac {\sum _{i,j\in \Omega }X_{i}X_{j}-\sum _{i\in \Omega }X_{i}^{2}}{N(N-1)}}={\frac {\left(\sum _{i\in \Omega }X_{i}\right)^{2}-\sum _{i\in \Omega }X_{i}^{2}}{N(N-1)}}=E(X)^{2}{\frac {N}{N-1}}-{\frac {E(X^{2})}{N-1}}$
         Soit Ω une population de taille N, soit X une variable aléatoire sur Ω, on s'intéresse aux échantillons de taille n. 
         On a V(x) variance de la population et $\sigma ^{2}$ la variance d'un échantillon A de taille n.
         $\sigma ^{2}(A)={\frac {\sum _{i\in A}\left(X_{i}-{\frac {\sum _{i\in A}X_{i}}{n}}\right)^{2}}{n}}={\frac {n-1}{n}}\sum _{i\in A}(X_{i}^{2})-{\frac {\sum _{i\neq j\in A}X_{i}X_{j}}{n^{2}}}$ D'où
         $E(\sigma ^{2}(A))={\frac {n-1}{n^{2}}}\sum _{i\in A}E(X_{i}^{2})-{\frac {1}{n^{2}}}\sum _{i\neq j\in A}E(X_{i}X_{j})={\frac {n-1}{n}}E(X^{2})-{\frac {n-1}{n}}E(X_{1}X_{2})$
         ** avec remise : $E(\sigma ^{2}(A))={\frac {n-1}{n}}(E(X^{2})-E(X)^{2})={\frac {n-1}{n}}V(X)$
         ** sans remise : $E(\sigma ^{2}(A))={\frac {n-1}{n}}(E(X^{2})-E(X)^{2}{\frac {N}{N-1}}+{\frac {E(X^{2})}{N-1}})={\frac {n-1}{n}}{\frac {N}{N-1}}V(X)$

On prend donc en général, pour estimateur sans biais de V(X) sur un échantillon $A\subset \Omega$ la valeur appelée variance empirique de Y : $\displaystyle \sigma '^{2}={\frac {1}{Card(A)-1}}\sum _{i\in A}(y_{i}-{\overline {y}})^{2}$

Remarque: pour faire le calcul pour l'estimateur de variance, le point principal est de calculer l'espérance de $X_{1}X_{2}$ où $X_{1}$ et $X_{2}$ sont deux variables aléatoires obtenues à partir d'une variable aléatoire X en choisissant deux individus au hasard. On a besoin de faire ce calcul à la fois pour un choix de deux individus avec remise et sans remise.

Un peu de dénombrement

• Cardinal du produit cartésien : le produit des cardinaux.

• Tirage sans ordre et sans remise de p parmi n, c-à-d nombre de parties à p éléments d'un ensemble à n éléments :

$\displaystyle C_{n}^{p}$

         Démonstration :
         On veut choisir p+1 éléments parmi n+1, sans ordre, sans remise. Soit $E_{n}^{p}$ l'ensemble des parties à p éléments de {1;...;n}.
         $E_{n+1}^{p+1}=F_{n+1}^{p+1}\cup G_{n+1}^{p+1}$ de sorte que $F_{n+1}^{p+1}$ est l'ensemble des p+1 éléments qui contiennent n+1,
         et $G_{n+1}^{p+1}$ est l'ensemble des p+1 éléments qui ne contiennent pas n+1. On a $F_{n+1}^{p+1}\cap G_{n+1}^{p+1}=\emptyset$. 
         D'autre part $G_{n+1}^{p+1}=E_{n}^{p+1}$. Soit f: $E_{n}^{p}\rightarrow F_{n+1}^{p+1}$, $card(E_{n+1}^{p+1})=card(E_{n}^{p})+card(E_{n}^{p+1})$
         Remarque :  Deux ensembles en bijection ont le même cardinal.

• Tirage avec ordre et sans remise de p parmi n, c-à-d nombre de p-uplets d'un ensemble à n éléments (nombre d'injections de {1;...;p} dans un ensemble à n éléments) :

$\displaystyle A_{n}^{p}$

         Démonstration:
         Soit $A_{n}^{p}$ le nombre d'injection, $A_{n}^{1}=n$ et $A_{n+1}^{p+1}=(n+1)\times A_{n}^{p}$. 
         D'où $A_{n}^{p}=nA_{n-1}^{p-1}=n(n-1)(n-2)...(n-p+1)$

• Tirage avec ordre et avec remise de p parmi n, c-à-d nombre de tirage avec remise et avec ordre de p-élemnts parmis n (nombre d'applications de {1;...;p} dans un ensemble à n éléments) :

$n^{p}$

         Démonstration :
         $card(E\times E\times E\times ...\times E)=(cardE)^{p}=n^{p}$

• Tirage sans ordre et avec remise de p parmi n :

$\displaystyle C_{n+p-1}^{p}=C_{n+p-1}^{n-1}$

         Démonstration : 
         On place n-1 jetons dans n+p-1 cases, il reste p cases libres. Il y a $C_{n+p-1}^{n-1}=C_{n-1+p}^{p}$ choix. 
         Soit f: $E\rightarrow {\begin{Bmatrix}0;\dots ;p\end{Bmatrix}}$ soit f associe à x le nombre de fois où x a été choisi. 
        On a $\sum _{x\in E}f(x)=p$, ce qui revient à n-1 jetons et p cases vides.

Choix de p éléments parmi n

Ordre\Remise	Sans (0≤p≤n)	Avec (0≤p)
Sans	$\displaystyle C_{n}^{p}$	$\displaystyle C_{n+p-1}^{p}$
Avec	$\displaystyle A_{n}^{p}$	$n^{p}$

Rappel des formules usuelles pour les coefficients binomiaux :

• avec factorielle : $\displaystyle C_{n}^{p}={\frac {A_{n}^{p}}{p!}}={\frac {n!}{(n-p)!p!}}={\frac {n(n-1)...(n-p+1)}{p!}}$
• triangle de Pascal : $\displaystyle C_{n}^{0}=C_{n}^{n}=1,C_{n}^{n-p}=C_{n}^{p}$ et $\displaystyle C_{n+1}^{p+1}=C_{n}^{p}+C_{n}^{p+1}(0\leq p\leq n-1)$
• Formule du binôme de Newton et applications comme $\displaystyle \sum _{p=0}^{n}C_{n}^{p}=2^{n}$.

         Démonstration : 
         Soit $f(x)=(x+1)^{n}$, $f(x)=\sum _{p=0}^{n}C_{n}^{p}x^{p}$. En particulier, f(1)=2n.

Probabilité et lois usuelles

• Probabilité (ou loi de probabilité) sur un ensemble $\Omega$: un nombre associé P(E) aux sous-ensembles $E\subset \Omega$ d'un ensemble (pas toujours tous les sous-ensembles) tel que :
  • $P(\emptyset )=0$
  • $P(\Omega )=1$
  • $P(E\cup F)=P(E)+P(F)$ si $E\cap F=\emptyset$

Conséquences :

μ (A ^C)=1- μ (A)

$[(A\Rightarrow B)\Leftrightarrow (A\subset B)]\Rightarrow \mu (B)\geq \mu (A)$

$\mu (A\cup B)=\mu (A)+\mu (B)-\mu (A\cap B)$ si A et B non disjoints.

• Évènements = Sous-ensemble . Evénements certains, impossibles, incompatibles. Implication entre évènement et inégalité sur les probas.
• Cas des ensembles finis et probabilité uniforme :

Pour définir une loi de probabilité sur un ensemble fini Ω, il suffit de donner la probabilité des singletons.

         Démonstration : 
         A={x1;...;xn} avec n=card(A). A={x1} ∪ {x2} ∪ ... ∪ {xn} où les singletons sont disjoints. 
         D'où μ (A)= μ (x1) + ... + μ (xn). Donner une loi sur Ω fini, c'est donner μ (x) pour tout x de Ω.

La loi de probabilité uniforme sur Ω fini est l'unique probabilité sur Ω telle que μ (x)=p pour tout x dans Ω avec $p={\frac {1}{card(\Omega )}}$.

         Démonstration : 
         Ω = {x1;...;xN} avec N=card(Ω). D'où μ (Ω)= μ (x1) + ... + μ (xN)=Np. Or μ (Ω)=1. Donc p=1/N.

Si A ⊂ Ω et μ est une loi de probabilité uniforme sur Ω alors $\mu (A)={\frac {card(A)}{card(\Omega )}}$.

         Démonstration : 
         N=card(Ω) et n=card(A) où A={x1;...; xn</sub}. 
         On a $\mu (A)=\sum _{i=1}^{n}\mu (x_{i})=\sum _{i=1}^{n}{\frac {1}{N}}={\frac {n}{N}}$.

• Loi image (image réciproque d'un ensemble Ω dans Ω') :

Soit X une variable aléatoire sur Ω, à valeurs dans Ω' (X fonction de Ω dans Ω'). On a une loi μ sur Ω. On construit une loi sur Ω', image de μ par X et notée μ_X. On a pour A inclus dans Ω μ (A)=μ (X^-1(A)).

Si Ω est un ensemble ordonné et μ une loi sur Ω, on définit F la fonction de répartition telle que $x\in \Omega ,F(x)=\mu (\{a\in \Omega \mid a\leq x\})$. F est croissante et tend vers 1.

         Démonstration :
         Si x ≤ y ∈ Ω et  {a/ a ≤ x} ⊂ {a/a ≤ y } alors μ ({a/a ≤ x}) ≤ μ ({a/a ≤ y}); d'où F(x) ≤ F(y).

• Variable aléatoire discrète
• Lois discrètes usuelles
  • Loi indicatrice ou loi de Bernouilli (I(p)) :

Soit X une variable aléatoire sur Ω à valeurs dans {0;1}. X(x)=1 si et seulement si x ∈ E ⊂ Ω (E=X^-1(1)).

Cette loi est déterminée par μ _X (1)= μ (E)=p (d'où μ _X (0)= μ (E^C)=1-p).

Espérance : E(X)=p

Variance : V(X)=p(1-p)

Ecart-type : $\sigma (X)={\sqrt {p(1-p)}}$

• • Loi de Pascal (Pa(p)) :

Ω est muni d'une loi uniforme, E ∈ Ω est un événement. On réalise plusieurs expériences indépendantes jusqu'à obtenir un succès. Soit X le nombre total d'expériences (succès inclus). X est à valeurs dans lN*.

Cette loi est déterminée par μ (E)=p ∈ ]0;1[; μ (X=k)=(1-p) ^k-1p ∈ ]0;1[.

Espérance : E(X)=1/p

Variance : V(X)=1/(p²)

Ecart-type : $\sigma (X)=1/p$

• • Loi binomiale
  • Loi hypergéométrique
  • Loi de Poisson
• Lois continues