Evaluating possible bias in a giftedness assessment: an empirical comparison of IRT and non-IRT (parametric and non-parametric) techniques for detecting differential item functioning

Every year, students from 3rd, 6th, and 9th are nominated to take the Multiple Cognitive Abilities Assessment (Mawhiba Assessment) to determine whether they possess giftedness and are entitled to special programs that cater to such giftedness. Students who meet a certain threshold on all fours areas of learning measured on the assessment are determined to be gifted and are thus given many opportunities to utilize their giftedness. Considering the importance of this assessment and the benefits given to those who do well on it, it is essential to ensure that the assessment is fair for all individuals who are chosen to take it.This study looks at determining whether the items on the Mawhiba Assessment function similarly for both males and females who take the assessment. Eight different types of DIF analyses were conducted to ensure gender fairness and compared to test whether these methods give similar results for every item on the assessment with females (reference group) and males (focal group). For two of the most common analyses, Mantel-Haenszel and Lord's Chi-Square, DIF analyses were run between males and females for the entire sample as well as for those identified as being gifted, as defined by specific parameters set by the researcher. It was found that the DIF had larger effects with the gifted sample as compared to the overall sample. The remaining six DIF analyses only looked at differences between males and females for the overall sample. The multiple DIF analyses produced findings that allowed the researcher to obtain a complete understanding of possible gender bias.Generally, it can be concluded that the Mawhiba Assessment is a fair assessment; however, males were more advantaged on the Mathematical and Spatial Reasoning and Scientific and Mechanical Reasoning sections, whereas females were more advantaged on the Linguistic Reasoning and Comprehension section. Both groups had an equal advantage on the Mental Flexibility section. These findings reflect what has been found in previous research and can be used by the officials who develop and maintain the Mawhiba Assessment to help ensure a fair testing instrument. (PsycInfo Database Record (c) 2022 APA, all rights reserved)

AAI13813508 Publication Title: Dissertation Abstracts International Section A: Humanities and Social Sciences titleTranslation: Evaluación de posibles sesgos en una evaluación de superdotación: una comparación empírica de técnicas IRT y no IRT (paramétricas y no paramétricas) para detectar el funcionamiento diferencial de los ítems abstractTranslation: Cada año, los estudiantes de 3º, 6º y 9º son nominados para tomar la Evaluación de Habilidades Cognitivas Múltiples (Evaluación Mawhiba) para determinar si poseen superdotación y tienen derecho a programas especiales que se adaptan a dicha superdotación. Los estudiantes que alcanzan un cierto umbral en las cuatro áreas de aprendizaje medidas en la evaluación se determina que son superdotados y, por lo tanto, se les brindan muchas oportunidades para utilizar su superdotación. Teniendo en cuenta la importancia de esta evaluación y los beneficios que se otorgan a quienes obtienen buenos resultados en ella, es esencial garantizar que la evaluación sea justa para todas las personas elegidas para realizarla. Este estudio busca determinar si los ítems de la Evaluación Mawhiba funcionan de manera similar tanto para los hombres como para las mujeres que toman la evaluación. Se llevaron a cabo ocho tipos diferentes de análisis DIF para garantizar la equidad de género y se compararon para comprobar si estos métodos daban resultados similares para cada elemento de la evaluación con mujeres (grupo de referencia) y hombres (grupo focal). Para dos de los análisis más comunes, Mantel-Haenszel y Chi-cuadrado de Lord, se realizaron análisis DIF entre hombres y mujeres para toda la muestra, así como para aquellos identificados como superdotados, según lo definido por parámetros específicos establecidos por el investigador. Se encontró que el DIF tuvo mayores efectos con la muestra regalada en comparación con la muestra general. Los seis análisis DIF restantes solo observaron las diferencias entre hombres y mujeres para la muestra general. Los múltiples análisis DIF produjeron hallazgos que permitieron a la investigadora obtener una comprensión completa de los posibles sesgos de género. En general, se puede concluir que la evaluación Mawhiba es una evaluación justa; sin embargo, los hombres tenían más ventaja en las secciones de Razonamiento Matemático y Espacial y de Razonamiento Científico y Mecánico, mientras que las mujeres tenían más ventaja en la sección de Razonamiento y Comprensión Lingüística. Ambos grupos tuvieron la misma ventaja en la sección de Flexibilidad Mental. Estos hallazgos reflejan lo que se ha encontrado en investigaciones anteriores y pueden ser utilizados por los funcionarios que desarrollan y mantienen la Evaluación Mawhiba para ayudar a garantizar un instrumento de prueba justo. (Registro de la base de datos PsycInfo (c) 2022 APA, todos los derechos reservados)