enquete stat

Les évaluations PISA de 2018 qui ont concerné plus de 500000 élèves de 15 ans scolarisés dans 75 pays, ont fait l’objet fin 2019 d’une analyse complète des résultats en compréhension de l’écrit, en mathématiques et en sciences, avec une priorité cette année sur le premier domaine.

 PISA : évaluation des savoirs et savoir-faire des élèves

L’objet de cet article n’est pas d’analyser ni de commenter les résultats des élèves français que l’on peut trouver dans la note d’information de la DEPP n°2019-19-49 mais plutôt de comprendre le contenu de ces évaluations et les niveaux de compétence tels qu’ils ont été conçus.

Pour ce qui concerne ce seul domaine de la compréhension de l’écrit, les épreuves PISA 2018, d’une durée totale de deux heures, ont été administrées sur ordinateur, tous les textes étant présentés sur écran. Et selon le score réalisé à une première série d’items, les élèves ont dû répondre à des épreuves différentes.

Définition de la compréhension de l’écrit selon PISA

Dans l’enquête PISA, la compréhension de l’écrit est la capacité des individus, non seulement à comprendre, utiliser et évaluer des textes, mais aussi à réfléchir à leur propos et à s’y engager. Comprendre l’écrit ne consiste plus simplement à extraire des informations, c’est aussi enrichir ses connaissances, réfléchir de manière critique et porter des jugements fondés. Or, les résultats de cette dernière évaluation PISA montre que dans les pays de l’OCDE, moins de 1 élève sur 10 parvient à faire la distinction entre des faits et des opinions sur la base d’indices implicites relatifs au contenu des textes et à leur auteur. Pour utiliser ce qu’ils lisent, les lecteurs doivent comprendre le texte et le combiner avec leurs connaissances antérieures. Ils doivent examiner le point de vue du ou des auteurs et déterminer si ce qu’ils lisent est fiable et exact, et si c’est pertinent en fonction de l’objectif à atteindre.

Textes utilisés

Les quatre dimensions retenues en 2018 dans le cadre d’évaluation PISA de la compréhension de l’écrit pour classer les textes étaient les suivantes :
• La source, c’est-à-dire la distinction entre les textes simples (provenant d’une seule source) et les textes multiples (constitués à partir de plusieurs sources).
• L’organisation et la navigation, c’est-à-dire la façon dont les lecteurs enchaînent la lecture des passages constituant l’ensemble du texte et naviguent entre ceux-ci lorsqu’une partie seulement du texte peut être affichée à l’écran.
• Le format de texte, c’est-à-dire la distinction entre les textes continus, non continus ou mixtes
• Le type de texte, c’est-à-dire la structure du texte et l’intention de son auteur.

Évaluation de la compréhension de l’écrit dans PISA

Les épreuves comportaient des questions à choix multiple ainsi que des items qui demandaient aux élèves de formuler leurs propres réponses. Les questions étaient regroupées dans des unités qui décrivent une situation s’inspirant de la vie réelle.

Fluidité de la lecture

Lors des épreuves PISA de 2018, c’est en invitant les élèves à lire une série de phrases, une à la fois, et à indiquer si elles étaient sensées que la fluidité de la lecture a été évaluée. Ces phrases étaient relativement simples et leur caractère sensé ou inepte apparaissait d’emblée. En voici quelques exemples : - Six oiseaux ont survolé les arbres. - La fenêtre a chanté à tue-tête. - L’homme est allé au magasin en voiture.

Localiser l’information

Pour localiser l’information recherchée aussi rapidement que possible, les lecteurs devaient juger de la pertinence, de l’exactitude et de la crédibilité des passages parcourus.

Comprendre

Saisir le sens littéral est le processus par lequel les lecteurs reformulent des phrases ou de brefs passages.

Intégrer et établir des inférences

C'est le processus à mettre en œuvre pour assimiler des passages plus longs et en comprendre le sens global - Les lecteurs peuvent avoir à établir des liens entre des informations fournies dans des passages ou des textes différents, déduire en quoi ceux-ci sont liés entre eux ou avec la teneur de la question.

Évaluer et réfléchir

Trois processus cognitifs spécifiques relevaient de l’évaluation et de la réflexion :
• Évaluer la qualité et la crédibilité : les lecteurs identifient la validité, l’exactitude ou l’impartialité du contenu des textes ;
• Réfléchir au contenu et à la forme : Les lecteurs doivent déterminer si le texte exprime bien l’intention et le point de vue de l’auteur sur le fond et la forme ;
• Corroborer et gérer les contradictions : les lecteurs comparent les informations et repèrent les contradictions entre les textes, puis décident comment gérer au mieux ces contradictions.

Description succincte des huit niveaux PISA de compétence en compréhension de l’écrit

Niveau 6 (score minimum 698) : dans les tâches du niveau 6, les lecteurs doivent généralement concevoir des plans en combinant plusieurs critères et en faisant des inférences pour relier la question et le ou les textes. Les stimulus de ce niveau sont généralement constitués d’un ou de plusieurs textes abstraits et complexes d’où ressortent de nombreuses perspectives parfois contradictoires.

Niveau 5 (score mini 626) : les tâches du niveau 5 invitent en général les lecteurs à aborder des concepts abstraits ou déroutants et à enchaîner plusieurs étapes avant de toucher au but. De plus, elles peuvent inviter les lecteurs à lire plusieurs longs textes et à passer de l’un à l’autre pour comparer et opposer des informations.

Niveau 4 (score mini 553) Les tâches du niveau 4 sont souvent longues ou complexes et leur fond ou leur forme peut être insolite. De nombreuses tâches se rapportent à des textes de plusieurs sources. Les textes et les tâches contiennent des indices indirects ou implicites.

Niveau 3 (score mini 480) Dans les tâches de ce niveau, les lecteurs peuvent avoir à tenir compte de nombreuses caractéristiques lorsqu’ils comparent, opposent ou classent des informations. Les informations pertinentes ne sont pas saillantes dans de nombreux cas et elles peuvent être mêlées à de nombreuses informations concurrentes.

Niveau 2 (score 407) les lecteurs peuvent identifier l’idée principale d’un texte d’une longueur modérée. Ils sont capables de comprendre des relations ou de découvrir le sens d’un passage limité qui comporte quelques distracteurs ou dans lequel les informations pertinentes ne sont pas saillantes, auquel cas ils doivent faire appel à des inférences élémentaires.

Niveau 1a (score 335): La plupart de tâches de ce niveau contiennent des indices explicites sur ce que les lecteurs doivent faire et la façon dont ils doivent s’y prendre ainsi que sur les passages du ou des textes qu’ils doivent privilégier.

Niveau 1b (score 263) les lecteurs peuvent comprendre le sens littéral de phrases simples. Ils peuvent aussi interpréter le sens littéral de textes en établissant des liens simples entre des fragments d’information contigus dans la question ou le texte.

Niveau 1c (score 189), les lecteurs peuvent comprendre le sens littéral de phrases courtes et simples sur le plan syntaxique et lire dans un but précis et simple pendant un moment limité.

Quelques exemples d’exercices

La question 2 de l’unité ÎLE DE PÂQUES est typique des tâches de « compréhension » de niveau 3. Le texte soumis aux élèves dans cet item est le blog d’une professeure en mission sur l’Île de Pâques. Il est illustré par une photo et est suivi de brefs commentaires de lecteurs du blog. À la question 2, les élèves doivent comprendre le sens littéral d’un paragraphe du texte. Les élèves qui ont répondu correctement à cette question sont capables de localiser les informations voulues alors qu’elles sont enfouies dans le texte.

La question 1 de l’unité ÎLE DE PÂQUES est un item difficile de la catégorie « parcourir et localiser » qui se situe au niveau 4. Les élèves doivent consulter l’article du blog qui leur est fourni et répondre à la question « [...] Quand la professeure a-t-elle commencé son travail de terrain ? ». La difficulté de la question s’explique par la longueur du texte ainsi que par la présence de distracteurs plausibles.

La question 3 de l’unité ÎLE DE PÂQUES est typique du niveau 5. Pour y répondre correctement, les élèves doivent faire la distinction entre des opinions et des faits énoncés dans des déclarations abstraites et complexes. Dans cet item, les élèves doivent déterminer si cinq affirmations différentes extraites du livre « Effondrement » sont des faits ou des opinions. La première affirmation est la plus difficile de toutes. Elle évoque un fait (le thème du livre), mais certains élèves ont pu y voir une opinion, à cause de la proposition qui résume la théorie de l’auteur du livre.

La question 3 de l’unité LE THÉÂTRE AVANT TOUT relève du niveau 6, elle se rapporte à un long texte littéraire, un acte d’une pièce de théâtre, qui décrit un univers de fiction, éloigné de ce que la plupart des jeunes de 15 ans ont pu connaître. Le thème des dialogues est abstrait (la relation entre la vie et l’art et les difficultés liées à l’écriture d’une pièce de théâtre). La question 3 est particulièrement difficile, car elle évoque ce que les personnages de la pièce (pas les acteurs) faisaient « juste avant que le rideau ne se lève ». Pour y répondre correctement, les élèves doivent passer du monde réel (où il y a une scène et un rideau) au monde fictif des personnages, qui entrent dans le salon, le lieu où se déroule la scène, juste après avoir dîné dans la salle à manger. Cette question est difficile aussi parce que les informations au sujet de ce que faisaient les personnages « avant » se trouvent au milieu du texte, et non pas au début du texte comme on pourrait s’y attendre.

Ces quelques exemples montrent, s’il en était besoin, à quel point l’élaboration des exercices, la détermination des niveaux de compétences ainsi que les critères de réussite adoptés peuvent constituer des modèles de situations d’évaluation sur lesquels les inspecteurs peuvent s’appuyer pour aider les enseignants à réfléchir à leurs propres modalités d’évaluation.

On trouvera l’ensemble de ces éléments dans le volume 1 de PISA 2018 SAVOIRS ET SAVOIR-FAIRE DES ÉLÈVES