CINECA IRIS Institutional Research Information System
IRIS è l'Anagrafe della ricerca dell'Università degli Studi di Trento, e ha lo scopo di raccogliere, documentare, conservare e diffondere, anche ad accesso aperto, la produzione scientifica degli autori afferenti all'Università degli Studi di Trento.
EnglishThis article is a survey of methods for measuring agreement among corpus annotators. It exposes the mathematics and underlying assumptions of agreement coefficients, covering Krippendorff’s alpha as well as Scott’s pi and Cohen’s kappa;discusses the use of coefficients in several annotation tasks;and argues that weighted, alpha-like coefficients, traditionally less used than kappalike measures in computational linguistics, may be more appropriate for many corpus annotation tasks—but that their use makes the interpretation of the value of the coefficient even harder.
| Titolo: | Intercoder agreement for Computational Linguistics |
| Autori: | R., Artstein; Poesio, Massimo |
| Autori Unitn: | |
| Titolo del periodico: | COMPUTATIONAL LINGUISTICS |
| Anno di pubblicazione: | 2008 |
| Numero e parte del fascicolo: | 4 |
| Handle: | http://hdl.handle.net/11572/36903 |
| Appare nelle tipologie: | 03.1 Articolo su rivista (Journal article) |
File in questo prodotto:
Copyright © 2020