Indicateur ODD 4.1.1: Pourcentage d’enfants et de jeunes ayant atteint au moins le seuil minimal de compétence (MPL) en (i) lecture et (ii) mathématiques au cours de l’enseignement primaire (2e ou 3e année), en fin de cycle primaire et en fin du premier cycle du secondaire.
Si de nombreux pays collectent déjà des données sur les compétences de base, les données sont rarement comparables. Les normes de maîtrise de la lecture pour un enfant au Japon à la fin de l'enseignement primaire peuvent être très différentes de ce que l'on attend d'un enfant en France. Le but des mesures communes de l'apprentissage n'est pas d'effacer ces différences, qui peuvent être basées sur le contexte culturel, mais de créer un échafaudage, ou un cadre, pour chaque domaine d'apprentissage, basé sur des acquis d'apprentissage convenus à chacun des points de mesure.
Le sources de données sont:
i. Évaluations transnationales, y compris:
- Données des évaluations internationales (TIMSS, PISA, PIRLS)
- Données des évaluations régionales (PILNA, SEA-PLM, PASEC, SACMEQ, ERCE)
ii. Évaluations nationales: les données sont collectées par le biais du Catalogue de évaluations des apprentissages (CLA) et/ou disponibles dans les rapports nationaux
iii. Évaluations des niveaux de compétence minimum (AMPL) : les données sont collectées par le biais de modules qui peuvent être administrés en tant qu’évaluation autonome ou être intégrés dans les évaluations nationales sous la forme d’un livret entier ou d’un livret tournant.
Lorsque les résultats ne sont pas représentatifs au niveau national, une note de bas de page doit être ajoutée au point de données.
Institut de statistique de l'UNESCO
http://tcg.uis.unesco.org/wp-content/uploads/sites/4/2020/09/Metadata-4....
Le nombre d'enfants et/ou de jeunes au niveau d'enseignement concerné n au cours de l'année t atteignant ou dépassant le niveau de compétence prédéfini dans les matières s, exprimé en pourcentage du nombre d'enfants et/ou de jeunes au niveau d'éducation n, au cours de l'année t, dans n'importe quel niveau de compétence dans la matière s.
Plus la valeur de l'indicateur est élevée, plus la proportion d'enfants ou de jeunes adultes ayant acquis le niveau minimum de compétences significatives est élevée.
Les résultats des évaluations transnationales de l’ apprentissage sont directement comparables pour tous les pays qui ont participé à la même évaluation transnationale de l’apprentissage. Toutefois, ces résultats ne sont pas comparables entre les différentes transnationales de l’apprentissage ou avec les évaluations nationales de l’apprentissage. Un niveau de comparabilité des résultats d'apprentissage entre les évaluations pourrait être atteint en utilisant différentes méthodologies, chacune avec des erreurs types variables. La période de 2020-2021 mettra en lumière la taille des erreurs types pour ces méthodologies.
La comparabilité des résultats d'apprentissage dans le temps présente des complications supplémentaires qui nécessitent, idéalement, de concevoir et de mettre en œuvre un ensemble d’éléments comparables comme points d’ancrage à l’avance. Des développements méthodologiques sont en cours pour assurer la comparabilité des résultats des évaluations dans le temps.
Pour plus d’informations, veuillez consulter le document 'Rapports apprentissage résultats dans basique éducation : options du pays pour l'indicateur 4.1.1 ».
L'indicateur vise à mesurer le pourcentage d'enfants et de jeunes qui ont atteint les acquis d’apprentissage minimaux en lecture et en mathématiques pendant ou à la fin des étapes éducatives concernées.
Indicateur est publié désagrégé par sexe
Autres désagrégations telles que le lieu, le statut socio-économique, le statut d'immigrant, l'origine ethnique et langue de le test à maison sont basé sur données produit par les organisations internationales administrant l’évaluation de l’apprentissage croisé. Les indices de parité sont estimés dans le rapport de l’indicateur 4.5.1. Les informations sur la désagrégation des variables pour l’indicateur 4.1.1 sont présentées dans les tableaux de l’annexe I.
Pour la première fois, l'Institut de statistique de l'UNESCO publie des moyennes régionales pour tous les niveaux d'apprentissage pour tous niveaux et domaines depuis 2000 à 2022 dans la publication des données de septembre 2022.
Comme indiqué dans les métadonnées de l'indicateur ODD 4.1.2, le taux d'achèvement peut être utilisé en combinaison avec l'indicateur ODD 4.1.1 pour fournir des informations sur le pourcentage d'enfants ou de jeunes d’une cohorte qui atteignent un niveau minimal de compétence (MPL), et pas seulement sur le pourcentage d’enfants scolarisés qui atteignent un niveau minimal de compétence. Par conséquent, pour réfléter le pourcentage de tous les enfants et/ou jeune qui ont atteint le niveau minimum de compétence et respecter l’engagement de ne laisser personne de côté, l’indicateur 4.1.1 peut également être ventilé en fonction de l’état d’achèvement. Toutefois, les informations sur le pourcentage d’enfants et/ou de jeunes ayant atteint le niveau minimum ne sont généralement pas disponibles, même s’ils ont quitté l’école avant d’avoir atteint la fin de l’enseignement primaire et du premier cycle de l’enseignement secondaire, respectivement.
Étant donné que la cible 4.1 vise à ce que tous les garçons et toutes les filles « achèvent [...] un cycle d’études qui débouche sur des résultats d'apprentissage pertinents et efficaces », on peut supposer qu'aucun enfant et/ou jeune ayant quitté l'école avant d'avoir terminé l’enseignement primaire ou le premier cycle du secondaire d’enseignement n’a atteint le niveau de compétence minimal attendu à ce niveau d’enseignement. Par conséquent, la désagrégation par statut d’achèvement prend la forme suivante :
Indicateur 4.1.1 désagrégé par achèvement t, n, s =
Indicateur 4.1.2 t, n x Indicateur 4.1.1 t, n, s
où:
Indicateur 4.1.2 t,n = pourcentage d'une cohorte d'enfants ou de jeunes âgés de 3 à 5 ans au-dessus de l'âge prévu pour la dernière année de chaque niveau d'enseignement n qui ont terminé cette année, au cours de l'année t , et atteint ou dépassé le niveau minimum de compétence dans les matières s .
Indicateur 4.1.1 t,n,s = proportion d'enfants et de jeunes au niveau d'enseignement n , au cours de l'année t , atteignant au moins un niveau minimum de compétence dans les matières s .
n = le niveau d’enseignement qui a été évalué
s = la matière qui a été évaluée (en lecture ou mathématiques).
Défis méthodologiques
L’indicateur est confronté aux défis méthodologiques suivants:
i. Définir un niveau de compétence minimal (MPL)
ii. Harmoniser les différentes sources de données, y compris les sources de données non officielles
iii. Définir la manière d’inclure les élèves qui n’ont pas terminé leurs études afin d’évaluer leur niveau de compétence.
i. Définition du niveau minimum de compétence
Un niveau minimum de compétence (MPL) est la référence des connaissances de base dans un domaine (mathématiques, lecture, etc.) mesurées au moyen d'évaluations des apprentissages. Le niveau minimum de compétence est mesuré à travers la définition convenue en 2018 et raffinée en 2020.
Afin de garantir la comparabilité des évaluations de l'apprentissage, une définition verbale de la MPL pour chaque domaine et niveau entre les évaluations transnationales (CNA) a été établie en analysant les descripteurs des niveaux de performance (PLD) des test transnationaux, régionaux et communautaires en lecture et en mathématiques. L'analyse a été menée et complétée par l'ISU et un consensus entre les experts sur la méthodologie proposée a été jugé adéquat et pragmatique.
Les définitions globales du MPL pour les domaines de la lecture et des mathématiques sont présentées dans le document « Niveau de compétence minimum utilisé pour rendre compte de l'indicateur 4.1.1 » avec les noms des évaluations et les PLD d'évaluation alignés sur le descripteur MPL des ODD.
ii. Harmonisation des sources de données
Pour relever les défis posés par la capacité limitée de certains pays à mettre en œuvre des évaluations transnationales, régionales et nationales, des mesures ont été prises par l'ISU et ses partenaires. L’ISU a proposé quelques optoins pour relier les évaluations entre elles; l’une de ces stratégies est la Rosetta Stone , une approche de psychométrique de liaison basée sur les matières (nouvelle collecte de données). Le seconde est l’approche de liaison politique, qui consiste à fixer des points de référence, ou des seuils, pour les travaux d'apprentissage afin de les aligner sur d'autres évaluations dans d’autres pays ou contextes (alignement sur les données existantes). Bien qu’il s’agisse d’une ancienne méthodologie de normalisation, l'ISU et ses partenaires ont maintenant étendu son utilisation pour aider les pays à fixer des repères à l’aide du cadre global de compétences (Global Proficiency Framework (GPF)) pour la lecture et les mathématiques, un cadre développé par des donateurs multilatéraux et des partenaires sur la base des contenus nationaux actuels et des cadres d’évaluation dans plus de 100 pays.
Un programme idéal pour l’établissement de rapport sur l’ODD 4.1.1 aura suivi trois étapes: Cadre conceptuel, cadre méthodologique, et cadre de présentation des rapports. Chacune de ces étapes comporte plusieurs sous-étapes complexes. Pour les différents niveaux et types d’évaluation, l’ISU a réalisé la majeure partie de ce travail avant d’accepter la responsabilité d’être le gardien du rapport sur l’ODD 4.1.1. Le Protocole pour l’établissement de rapports sur l’indicateur global 4.1.1 des ODD explique chacune des activités et des résultats et aide à mettre en place les outils nécessaires pour assurer un niveau minimum de cohérence des rapports des systèmes éducatifs sur l'indicateur 4.1.1, tout en conservant une flexibilité suffisante pour permettre aux systèmes éducatifs de poursuivre des programmes d’évaluation adaptés à leur contexte et à leurs besoins.
iii. Statut d’achèvement
La combinaison des taux d’achèvement et des résultats d’apprentissage améliore notre compréhension des progrès vers la cible 4.1. Presque toutes les informations concernant l’apprentissage sont basées sur l’école et ne tiennent pas compte de l’achèvement du niveau. L'inclusion de l'achèvement dans la liste globale offre la possibilité d’établir des rapports en fonction de l’état d’achèvement. Les différences les plus importantes entre l’ODD 4.1.1 sur l’apprentissage avant l’achèvement et la désagrégation par achèvement se trouvent dans les régions ou les pays ayant des taux d'achèvement et de scolarisation plus faibles (ou des enfants qui achèvent leur scolarité et apprennent), car l’indicateur ajusté est basé sur un taux d’ achèvement ajusté en fonction de la qualité de l’éducation. Cela explique également pourquoi les différences les plus importantes se produisent au niveau du premier cycle du secondaire. Au niveau mondial, 47 % des élèves du premier cycle du secondaire atteignent le niveau minimum de compétence en lecture selon l’indicateur original de l’ODD 4.1.1, mais la valeur de l’indicateur ajusté tomberait à 34 % des adolescents terminant le premier cycle du secondaire et atteignant le niveau minimum de compétence en mathématiques. Voir les références ici .
Protocole pour le rapport sur l’indicateur 4.1.1
Lors de l’établissement du rapport sur l’indicateur 4.1.1, des questions peuvent se poser sur les points suivants :
- Quel contenu doit être mesuré et quel est le pourcentage de couverture à couvrir par une évaluation donnée pour être comparable à d’autres évaluations ?
- Quelles sont les procédures suffisantes pour garantir la qualité des données collectées ?
- Une échelle de compétence sur laquelle toutes les évaluations pourraient être renseignées (et sa fonction de conversion ou la procédure de liaison), et une définition du niveau minimum pour chaque domaine qui permettrait d’estimer le pourcentage d’élèves atteignant le niveau de compétence minimum.
Le Protocole pour l’établissement de rapports sur l’indicateur global 4.1.1 des ODD vise à fournir des réponses à ces questions.
- Répartition du nombre d'enfants et / ou de jeunes à un stade d'enseignement donné au cours d'une année donnée qui se situent au-dessus et en dessous du niveau de compétence prédéfini;
- Nombre total d'enfants et / ou de jeunes à un stade d'enseignement donné au cours d'une année donnée qui sont au-dessus et en dessous du niveau de compétence prédéfini;
- Cartographie CITE par pays.
L'ISU tient à jour une base de données mondiale sur les évaluations de l'apprentissage dans l'éducation de base. L'inclusion d'un point de données dans la base de données pour montrer la transparence est complétée en suivant un protocole et est examinée par les points focaux techniques de l'ISU pour assurer la cohérence et la qualité globale des données, sur la base d'un ensemble de critères objectifs garantissant que seuls les plus récents et fiables les informations sont incluses dans la base de données. Ces critères comprennent: les sources de données doivent inclure une documentation appropriée; les valeurs des données doivent être représentatives au niveau de la population nationale et, dans le cas contraire, être notées en bas de page; les valeurs des données sont basées sur un échantillon suffisamment grand; le cadre d'évaluation de l'apprentissage couvre l'ensemble minimal de contenus dans le cadre de contenu global et les niveaux de compétence sont alignés sur le niveau de compétence minimal (MPL) tel que défini dans le cadre de compétence mondial; et les données sont plausibles et basées sur les tendances et la cohérence avec les estimations publiées / communiquées antérieurement pour l'indicateur.