Replicabilità e attendibilità delle misure cognitive: considerazioni teoriche e metodologiche sull’uso dei punteggi differenziali

Gli effetti osservati nei cosiddetti compiti di compatibilità (ad es. i paradigmi Stroop e Simon) sono tipicamente quantificati come differenza tra le prestazioni osservate nelle condizioni incompatibili e compatibili. In genere, tali punteggi differenziali sono altamente replicabili a livello di gruppo, ma scarsamente attendibili come misura delle differenze individuali. Il presente contributo analizza criticamente questo «paradosso dell’affidabilità» e il suo impatto sull’uso dei punteggi differenziali in ambito sperimentale, collocandolo nel contesto del programma di ricerca sviluppato da Carlo A. Umiltà e collaboratori. Se da un lato la bassa attendibilità di questi punteggi non è di per sé una controindicazione al loro uso nella ricerca sperimentale, dall’altro la loro alta replicabilità non costituisce una garanzia di idoneità. Quest’ultima dipende infatti dal rapporto tra le proprietà psicometriche del punteggio e la variabilità del costrutto che intende misurare nella popolazione esaminata. Punteggi scarsamente attendibili possono risultare adeguati negli studi volti a valutare gli effetti di manipolazioni sperimentali su costrutti relativamente omogenei tra individui, come i processi automatici che generano interferenza nei compiti di compatibilità, ma non per indagare costrutti che variano sostanzialmente nella popolazione, come i processi di controllo dell’interferenza. In quest’ultimo caso, la bassa attendibilità segnala l’inadeguatezza del punteggio come misura del costrutto di interesse. L’articolo sottolinea infine l’importanza di una valutazione critica degli strumenti di indagine e dei presupposti teorici che ne guidano l’uso, in linea con l’attenzione metodologica che ha caratterizzato l’opera scientifica di Umiltà.

Replicability and reliability of cognitive measures: Theoretical and methodological considerations on the use of difference scores. The effects observed in so-called compatibility tasks (e.g., the Stroop and Simon paradigms) are typically quantified as the difference between performance in incompatible and compatible conditions. Usually, such difference scores are highly replicable at the group level, but show low reliability as measures of individual differences. The present contribution critically examines this «reliability paradox» and its implications for the use of difference scores in experimental research, situating it within the research program developed by Carlo A. Umiltà and collaborators. On the one hand, the low reliability of these scores does not preclude their use in experimental settings; on the other hand, their high replicability alone does not guarantee their appropriate374 ness. Indeed, their suitability depends on the relationship between their psychometric properties and the variability of the construct they are intended to measure in the population under study. Poorly reliable scores may be adequate in studies aimed at assessing the effects of experimental manipulations on constructs that are relatively homogeneous across individuals, such as the automatic processes that generate interference in compatibility tasks, but not for investigating constructs that vary substantially within the population, such as interference control processes. In the latter case, low reliability indicates that the score is not an adequate measure of the construct of interest. Finally, the article underscores the importance of critically evaluating research instruments and the theoretical assumptions guiding their use, in line with the methodological rigor that characterized Umiltà’s scientific work.