MATH206 : Probabilités et Statistiques

Feuilles de TD : 1 2

Vocabulaire de probabilité

• Population  : Groupe d'objets étudiés. Elle peut-être :
  • "réelle" : les Français, les étudiants de ce cours...
  • "virtuelle" : l'ensemble des lancés de dés possibles...
• Sous-population, échantillon
• Expérience  : Choisir un élément dans une population.
• Evénement : L'événement se produit lorsque l'élément appartient à la sous-population.
• Partition  : Découpage d'un ensemble en plusieurs sous-ensembles disjoints.
• Cardinal  : Nombre d'éléments d'un ensemble.
• Fréquence d'un sous ensemble A ⊂ Ω : $F(A)={\frac {\displaystyle {card(A)}}{\displaystyle {card}(\Omega )}}$
• Variable aléatoire et Série statistique  : Application d'une population Ω dans un ensemble X quelconque.

Estimateur ponctuel

• Moyenne et espérance (rappel et "sens")

Formule de la moyenne (resp. espérance) d'une série statistique (resp. variable aléatore) X sur un population $\Omega$: $\displaystyle M(X)=E(X)={\frac {\sum _{i\in \Omega }X_{i}}{Card(\Omega )}}$ La moyenne est le nombre x qui remplace le mieux $X_{i}$ pour l'ensemble de la population quand on regarde l' erreur quadratique donnée par la formule suivante (preuve facile en dérivant f): $\displaystyle f(x)=\sum _{i\in \Omega }(X_{i}-x)^{2}$

On définit deux types d'erreurs :

1. l'erreur absolue  : $\mid X_{i}-xi\mid$
2. l'erreur quadratique  : $(X_{i}-x)^{2}$

L'erreur quadratique est aussi liée à la variance V(X) car:

$\displaystyle V(X)={\frac {\sum _{i\in \Omega }(X_{i}-E(X))^{2}}{Card(\Omega )}}={\frac {f(E(x))}{Card(\Omega )}}$

Rappel : On a aussi $V(X)=E(X^{2})-E(X)^{2}$

• Propriété de la moyenne (linéarité) : E(X + Y) = E(X) + E(Y) et E(aX) = aE(X)

• Définition d'estimateur et de biais :

Un estimateur est une "formule" permettant de calculer un nombre à partir de la variable aléatoire restreinte à un échantillon.

Un estimateur estime un paramètre P(X) si il converge vers P(X) lorsque la taille de l'échantillon tend vers la taille de la population (cela n'a guère se sens que sur les populations infinies ...)

Un estimateur pour P(X) est sans biais, si son espérance est égale à P(X) lorsqu'on le considère comme une variable aléatoire sur la population des échantillons de taille n fabriquée à partir de $\Omega$ (notée $\Omega ^{(n)}$).

• • Estimateur de la moyenne : la moyenne sur l'échantillon est un estimateur sans biais de la moyenne sur la population entière. Soit A={1;...;n} l'échantillon, $e(X)={\frac {\sum _{i\in A}X_{i}}{n}}$

         Démonstration :
         $E({\frac {\sum _{i\in A}X_{i}}{n}})={\frac {1}{n}}E(\sum _{i\in A}X_{i})={\frac {1}{n}}\sum _{i\in A}E(X_{i})={\frac {1}{n}}XnE(X)=E(X)$

• • Estimateur de la variance (avec et sans remise) :

Si on note $\sigma ^{2}$ la variance d'un échantillon de taille n dans une population de taille N, on obtient un estimateur sans biais de la variance avec les formules suivantes:

$\displaystyle {\frac {n}{n-1}}\sigma ^{2}$ dans le cas de tirage avec remise de l'échantillon

$\displaystyle {\frac {N-1}{N}}{\frac {n}{n-1}}\sigma ^{2}$ dans le cas de tirage sans remise (qui vaut bien $\sigma ^{2}$ lorque n = N).

         Démonstration :
          Rappel préalable :  $V(X)=E((X-E(X))^{2})=E(X^{2}-2XE(X)+E(X)^{2})=E(X^{2})-2E(X)E(X)+E(x)^{2}=E(X^{2})-E(X)^{2}$
          Calcul préalable :  Soit X une variable aléatoire sur &Omega, soient X1 et X2 deux variables aléatoires.
         ** avec remise : $E(X_{1}X_{2})={\frac {1}{N^{2}}}\left(\sum _{i,j\in \Omega }X_{i}X_{j}\right)=E(X)^{2}$
         ** sans remise : $E(X_{1}X_{2})={\frac {\sum _{i,j\in \Omega ;i\neq j}X_{i}X_{j}}{N(N-1)}}={\frac {\sum _{i,j\in \Omega }X_{i}X_{j}-\sum _{i\in \Omega }X_{i}^{2}}{N(N-1)}}={\frac {\left(\sum _{i\in \Omega }X_{i}\right)^{2}-\sum _{i\in \Omega }X_{i}^{2}}{N(N-1)}}=E(X)^{2}{\frac {N}{N-1}}-{\frac {E(X^{2})}{N-1}}$
         Soit Ω une population de taille N, soit X une variable aléatoire sur Ω, on s'intéresse aux échantillons de taille n. On a V(x) variance de la population et $\sigma ^{2}$ la variance d'un échantillon A de taille n.
         $\sigma ^{2}(A)={\frac {\sum _{i\in A}\left(X_{i}-{\frac {\sum _{i\in A}X_{i}}{n}}\right)^{2}}{n}}={\frac {n-1}{n}}\sum _{i\in A}(X_{i}^{2})-{\frac {\sum _{i\neq j\in A}X_{i}X_{j}}{n^{2}}}$ D'où
         $E(\sigma ^{2}(A))={\frac {n-1}{n^{2}}}\sum _{i\in A}E(X_{i}^{2})-{\frac {1}{n^{2}}}\sum _{i\neq j\in A}E(X_{i}X_{j})={\frac {n-1}{n}}E(X^{2})-{\frac {n-1}{n}}E(X_{1}X_{2})$
         ** avec remise : $E(\sigma ^{2}(A))={\frac {n-1}{n}}(E(X^{2})-E(X)^{2})={\frac {n-1}{n}}V(X)$
         ** sans remise : $E(\sigma ^{2}(A))={\frac {n-1}{n}}(E(X^{2})-E(X)^{2}{\frac {N}{N-1}}+{\frac {E(X^{2})}{N-1}})={\frac {n-1}{n}}{\frac {N}{N-1}}V(X)$

On prend donc en général, pour estimateur sans biais de V(X) sur un échantillon $A\subset \Omega$ la valeur appelée variance empirique de Y : $\displaystyle \sigma '^{2}={\frac {1}{Card(A)-1}}\sum _{i\in A}(y_{i}-{\overline {y}})^{2}$

Remarque: pour faire le calcul pour l'estimateur de variance, le point principal est de calculer l'espérance de $X_{1}X_{2}$ où $X_{1}$ et $X_{2}$ sont deux variables aléatoires obtenues à partir d'une variable aléatoire X en choisissant deux individus au hasard. On a besoin de faire ce calcul à la fois pour un choix de deux individus avec remise et sans remise.

Un peu de dénombrement

• Cardinal du produit cartésien : le produit des cardinaux.
• Tirage sans ordre et sans remise de p parmi n, c-à-d nombre de parties à p éléments d'un ensemble à n éléments : $\displaystyle C_{n}^{p}$
• Tirage avec ordre et sans remise de p parmi n, c-à-d nombre de p-uplets d'un ensemble à n éléments (nombre d'injections de {1;...;p} dans un ensemble à n éléments) : $\displaystyle A_{n}^{p}$
• Tirage avec ordre et avec remise de p parmi n, c-à-d nombre de tirage avec remise et avec ordre de p-élemnts parmis n (nombre d'applications de {1;...;p} dans un ensemble à n éléments) : $n^{p}$
• Tirage sans ordre et avec remise de p parmi n : $\displaystyle C_{n+p-1}^{p}=C_{n+p-1}^{n-1}$

Rappel des formules usuelles pour les coefficients binomiaux.

• avec factoriel : $\displaystyle C_{n}^{p}={\frac {A_{n}^{p}}{p!}}={\frac {n!}{(n-p)!p!}}={\frac {n(n-1)...(n-p+1)}{p!}}$
• triangle de Pascal : $\displaystyle C_{n}^{0}=C_{n}^{n}=1,C_{n}^{n-p}=C_{n}^{p}$ et $\displaystyle C_{n+1}^{p+1}=C_{n}^{p}+C_{n}^{p+1}(0\leq p\leq n-1)$
• Formule du binôme de Newton et applications comme $\displaystyle \sum _{p=0}^{n}C_{n}^{p}=2^{n}$.

Probabilité et lois usuelles

• Probabilité (ou loi de probabilité) sur un ensemble $\Omega$: un nombre associé P(E) aux sous-ensembles $E\subset \Omega$ d'un ensemble (pas toujours tous les sous-ensembles) tel que :
  • $P(\emptyset )=0$
  • $P(\Omega )=1$
  • $P(E\cup F)=P(E)+P(F)$ si $E\cap F=\emptyset$
• Évènements = Sous-ensemble. évènement certains, impossible, incompatible. Implication entre évènement et inégalité sur les probas.
• Cas des ensembles finies et probabilité uniforme.
• Loi image.
• Lois discrètes usuelles
  • Loi indicatrice ou loi de Bernouiili
  • Loi de Pascal
  • Loi binomiale
  • Loi hypergéométrique
  • Loi de Poisson
• Lois continus