Reliability generalization methods in the context of giftedness research

Generating accurate and reliable data is critical to strong scientific inquiry and essential to furthering giftedness research yet is often neglected by even the most attentive researchers. From a measurement standpoint, much of the focus has been on the question of score validity (i.e., do assessments accurately identify gifted and talented students?) and test fairness (e.g., do assessments provide an unfair advantage based on socioeconomic status, race, ethnicity, culture, language, and other contextual factors that may affect assessment results?). Although valid and fair measurement is certainly a goal within the larger fields of both measurement and giftedness research, before score validity and test fairness can be addressed, instruments must first generate consistently repeatable and replicable scores. If a measure cannot generate reliable scores across the population for which the measure is intended, it will not be able to generate valid scores. The ability of a measure to generate repeatable, consistent scores is a psychometric concept known as reliability. This chapter’s purpose is to explain the integral role of score reliability and reliability generalization across studies in advancing both the science of giftedness and the practice of identifying and measuring the progress of students that are gifted. (PsycInfo Database Record (c) 2024 APA, all rights reserved) (Source: chapter)

abstractTranslation: La generación de datos precisos y fiables es fundamental para una investigación científica sólida y esencial para avanzar en la investigación de la superdotación, pero a menudo es descuidada incluso por los investigadores más atentos. Desde el punto de vista de la medición, gran parte de la atención se ha centrado en la cuestión de la validez de las puntuaciones (es decir, ¿las evaluaciones identifican con precisión a los estudiantes superdotados y talentosos?) y la equidad de los exámenes (por ejemplo, ¿las evaluaciones proporcionan una ventaja injusta basada en el estatus socioeconómico, la raza, la etnia, la cultura, el idioma y otros factores contextuales que pueden afectar los resultados de las evaluaciones?). Aunque la medición válida y justa es sin duda un objetivo dentro de los campos más amplios de la medición y la investigación de la superdotación, antes de que se pueda abordar la validez de las puntuaciones y la equidad de las pruebas, los instrumentos deben generar primero puntuaciones consistentemente repetibles y replicables. Si una medida no puede generar puntuaciones fiables en la población a la que está destinada, no podrá generar puntuaciones válidas. La capacidad de una medida para generar puntuaciones repetibles y consistentes es un concepto psicométrico conocido como fiabilidad. El propósito de este capítulo es explicar el papel integral de la confiabilidad de la puntuación y la generalización de la confiabilidad en todos los estudios en el avance tanto de la ciencia de la superdotación como de la práctica de identificar y medir el progreso de los estudiantes superdotados. (Registro de la base de datos PsycInfo (c) 2024 APA, todos los derechos reservados) (Fuente: capítulo)