MSHS501 et MSHS601 : Enquête et sondage
Introduction
Qu'est-ce qu'une enquête dans le cadre de ce cours ? Dans quels cas faire une enquête. Il faut faire attention à la surcharge du mot enquête en français (ici on va parler des "surveys" et des "polls" de la langue anglaise).
Définition: pour ce cours, on définit enquête et sondage par les caractéristiques suivantes :
- démarche scientifique et rigoureuse,
- recherche de réponses à une ou plusieurs questions déterminées,
- interrogation d'un échantillon choisi parmi une population bien définie.
Attention, l'enquête n'est pas toujours la bonne manière de répondre à une question.
Il existe deux types d'enquêtes :
- l'enquête qualitative (en générale par entretien),
- l'enquête quantitative ou statistique (principal objet de ce cours) dont les sondages font parti.
Plan général du cours en trois parties :
- conception d'une enquête.
- mise en oeuvre et contribution des outils informatiques modernes.
- considérations statistiques avancées.
Voici les feuilles de TD :
Le projet de cette année (2008-2009) a pour but de conduire une enquête sur les comportements à risque des étudiants de l'université .
Modalités d'une enquête
- Choisir d'enquêter ou non.
- Construire l'enquête :
- Préciser les objectifs, c'est-à-dire les questions auxquelles l'enquête devra répondre, ou les hypothèses qu'elle devra confirmer ou invalider. Il faut distinguer l'objectif général (qui donne son unité à l'enquête et les objectifs particuliers. Attention aux cahiers des charges "tout fait".
- Définir le "plan d'observation" : préciser la population et l'échantillon (taille et structure) et les contraintes matérielles.
- Modalité de l'enquête.
- Décider du caractère qualitatif ou quantitatif.
- Préparation et test du questionnaire ou des entretiens.
- Entretien préparatoire.
- Recueil de l'information. Après cette étape on ne peut plus revenir en arrière.
- Dépouillement et analyse des données.
- Rédaction du rapport final.
Contexte et problématique d'une enquête
Première question : l'enquête est-elle la bonne méthode ? Confrontation avec les autres méthodes : étude documentaire, observation directe (engagée ou non), expérimentation.
Enquête transversale, comparaison ou étude longitudinale.
Plan de réalisation d'une enquête
Objectifs et cahier des charges
Le cahier des charges de départ va d'une unique question vague à un questionnaire tout fait (il faut alors revenir en arrière).
Il faut donc déterminer la question générale de départ et la transformer en questions de recherches spécifiques sous forme d'hypothèses ou de quantités (exemple de la croyance au paranormal).
- Les hypothèses et les quantités à mesurer doivent être définies de manière objective et non ambiguë. Elles doivent être respectivement vérifiables et mesurables (exemple du bonheur).
- L'hypothèse doit être plausible et remise en question.
- Attention : vérifier une hypothèse n'est pas demander aux gens ce qu'ils en pensent.
Pour formuler les hypothèses, il faut rechercher des indicateurs et les multiplier. Exemple: "Il y a une relation négative entre les croyances religieuses et les croyances au paranormal".
Pour cela, on fait une pré-enquête avec une recherche documentaire, la réalisation d'entretien (avec des informateurs priviligiés ou auprès de la population sujet de l'enquête). On repère ainsi les bons indicateurs et le vocabulaire de la population. On s'arrête lorsque l'on tourne en rond.
Population parente -- échantillon -- modalités du sondage
Population parente : le sujet de l'enquête (individu, famille, entreprise). Il faut bien définir les critères d'inclusion.
Plan d'observation : enquête transversale, comparaison de groupes (quasi et vraie expérimentation, cas témoin), enquête longitudinale (étude de cohorte, étude à série chronologique, interview répété ou panel, étude de tendance).
Sondage : il faut choisir un échantillon (faire un sondage). Problème de la taille et du choix. C'est l'un des problèmes majeurs, on y consacrera le chapitre 3.
Le questionnaire
Il s'agit de préparer l'instrument d'observation. Etape délicate, là aussi le chapitre 4 y est consacré.
Recueil des données
C'est une phase sans retour en arrière possible. C'est aussi cette phase qui concentre la majeur patie du coût de l'enquête (sauf en cas de collecte par internet et dans une moindre mesure par courrier).
Traitement et analyse des résultats
C'est là qu'il faut et dans le choix de l'échantillon qu'il faut vraiment faire preuve de rigueur scientifique. cf chapitre 6.
Le rapport
Comme tout rapport, il commence par une page de titres et une introduction comportant les motivations, le plan et un résumé des résultats (ou pas). Attention, la plupart de vos lecteur s'arrêteront là ...
La suite du rapport peut (doit ?) suivre le plan de réalisation de l'enquête et donc présenter les objectifs et la méthode de l'enquête. Vous devez prouver votre rigueur scientifique. Ensuite, vous donnez les résultats bruts (à plat) en enfin les analyses statistiques qui justifient vos conclusions.
La conclusion (qui peut-être incluse dans l'introduction) résume vos résultats, vos échecs et vos éventuelles recommandation si l'étude avait pour motivation une aide à la décision.
Attention : ce qui compte dans un rapport scientifique, c'est sa cohérence et sa rigueur. Il faut éviter les répétitions et la dispersion. Il faut rechercher la densité et la cohésion.
Les modalités d'un sondage
Population et méthode de collecte
La population
Que les critères d'inclusions aient l'air de s'imposer d'eux mêmes ou non, il faut absolument prendre soin de les définir par écrit. Il faut être sur face à un individu, de savoir s'il fait partie ou non de la population étudiée. Pas de place ici pour les libres arbitres des enquêteurs.
Type de collecte
Le type de collecte (enquête avec un sondeur, questionnaire auto administré, etc ...), influe sur le choix de l'échantillon et aussi sur l'analyse des données.
Les problèmes d'échantillonnages
La population et l'échantillonnage
L'échantillon doit couvrir toute la population (être représentatif, sinon on a une généralisation abusive). C'est là le principal problème.
La taille de l'échantillon
Il faut simuler des sondages et s'assurer que la taille de l'échantillon sera suffisance dans la plupart des cas. Dans certains cas, on peut calculer une taille d'échantillon, dans d'autres cas, seul la simulation permet de conclure. Attention, la méthode d'échantillonage permet (et sert souvent) à reduire la taille de l'échantillon sans dégrader la qualité des résultats.
Les différents types classiques d'échantillonnages
Les échantillons aléatoires
- Tirages aléatoires simples
- Échantillon systématique
- Échantillon avec probabilité inégale
- Échantillon stratifié
- Échantillon par grappes
- Échantillon à plusieurs degrés
- Échantillon à plusieurs phases
Les échantillons empiriques
- Méthode des quotas
- Échantillon par choix raisonné
- Échantillon par "aléatoire reconstitué"
- Échantillon de commodité ou volontaire
Correction du biais de non réponses
Les questionnaires
Généralités
Un instrument de mesure qui cherche à être précis et fiable et qui prend en compte l'enquêté.
Chaque question doit avoir un (et un seul) objectif précis et bien déterminé. Les questions doivent être construite avec le plus grand soin pour éviter toutes erreurs...
Il faut aussi s'assurer (autant que possible) que l'enquêté acceptera d'aller jusqu'au bout du questionnaire et répondra avec sincérité.
Questions ouvertes ou fermées
Les deux types de questions ne sont pas équivalentes. Il n'y a pas trop de problème pour l'âge, mais c'est plus difficile pour des concepts comme l'inflation (13% contre 21%).
- La question ouverte donne une grande liberté (impossible pour des sujets très généraux genre
"que pensez-vous de la paix dans le monde ?"). Réponses riches et diversifiées, mais parfois dur à grouper en classe. Repose trop sur la mémoire de l'enquêté (risque d'oublis d'une possibilité pour certains et pas pour d'autres).
- La question fermée (à choix multiples ou à choix unique) est plus facile à analyser, mais peut induire des biais (risque de désirabilité sociale, réponses peu réfléchies).
En général, on élabore des questions fermées à partir de questions ouvertes posées lors d'une pré-enquête.
Précaution : exhaustivité et exclusion mutuelle. L'item "autre" doit être évité sauf pour des cas exceptionnels.
Type de questions
Questions de comportements (Que font-ils ?)
Problème des comportements génants : rendre la question acceptable, utiliser des procédures spécifiques.
Attention aux problèmes de mémoire : proposer des listes, des questions sur un passé récent.
Questions d'opinion (Que pensent-t-ils ?)
On utilise des échelles unidimensionelles (à 2 ou plusieurs degrés), des mises en situation ou des classements.
Position intermédiaire : veut-on connaitre les indécis ou forcer à prendre parti.
Sans opinion : attention, la formulation de la question peut beaucoup faire varier la proportion de sans opinion. L'absence de cette possibilité peut forcer l'enquêté à répondre au hasard.
Questions d'intentions (Que vont-ils faire ?)
L'enquêté est peu engagé par sa réponse d'où une surestimation globale de l'action (surestimation des intentions d'achats par exemple).
Questions de connaissances (Que savent-ils ?)
L'enquêté risque de ne pas oser la non-réponse. Il faut utiliser des formulations plus acceptable "Sauriez-vous par hasard". Introduire des questions faciles et éventuellement des fausses réponses (auteur ou livre inexistant)
Renseignements signalétiques (Qui sont-ils?)
- Recoupement possible avec des données existante (par exemple en utilisant les catégories socio-professionnelles de l'INSEE)
- Souvent des variables importantes dans les hypothèses de l'enquête.
Questions indirectes
- Mise en situation
- Association de mots (liste ouverte ou fermée)
- Phrases à compléter
- Bulle de BD à compléter
Qualités des questions
- Neutralité : tendance à l'acquiescement, ...,question chargée (pas toujours un défaut)
- Être compris : niveau, intérêt (filtrage), vocabulaire (bon sens, sens multiple, confusion)
- Économie globale du questionnaire : ordre, transition, effet de halo, taille, présentation