Come cogliere il significato più profondo del punteggio di similitudine

Il punteggio di similitudine di Turnitin puó creare molta confusione. Qual è la percentuale corretta? Questa percentuale è troppo alta? È troppo bassa? La decisione finale spetta al docente. In questo post, desideriamo offrire alcuni consigli per permettere ai docenti di prendere decisioni consapevoli sul punteggio di similitudine. Per poter spiegare il punteggio percentuale è necessario illustrare nel dettaglio come viene creato il Rapporto di similitudine, fornire alcuni suggerimenti su come andare oltre la percentuale e valutare le numerose informazioni contenute nel Rapporto.

In che modo Turnitin riesce a individuare le similitudini nei testi?

In termini di programmazione, la parte interessante comincia quando uno studente invia il proprio documento. Infatti, in pochissimi istanti Turnitin analizza il documento in modo del tutto sorprendente.

Per cominciare, la maggior parte delle parole vengono divise in frasi mentre altre quelle più comuni (come "e", "o", "il", ecc.) vengono rimosse. Ogni frase viene memorizzata con un proprio ID unico, o "impronta digitale”. Si esegue, poi, un confronto tra gli ID delle frasi e i nostri database di contenuti per individuare eventuali corrispondenze.

I nostri database contengono più di 1,2 miliardi di elaborati di studenti, 70 miliardi di pagine web online e archiviate e 180 milioni di articoli provenienti dalle principali riviste e fonti accademiche. L'ampiezza e la completezza dei contenuti di Turnitin continua a crescere di milioni di dati ogni giorno.

Ogni documento inviato può contenere fino a 80.000 ID di frasi; ogni ID di frase viene confrontato con 7.000 miliardi di possibili corrispondenze con frasi provenienti dai database di contenuti. Se il software Turnitin individua delle potenziali corrispondenze, applica una elaborazione del linguaggio naturale e una euristica rigorosa in termini di corrispondenze per limitare il numero di falsi positivi e generare un rapporto quanto più possibile accurato. In contemporanea, per migliorare ancora di più i risultati, vengono poi svolte altre interessanti procedure quali la ricerca di testo nascosto o di caratteri sostituiti, ma per il momento è meglio mantenerci sul semplice.

Il tutto avviene in 10 secondi e si conclude con la generazione del Rapporto di similitudine.

(Nota interessante: Turnitin genera circa 20 rapporti al secondo e nei giorni di maggior attività può ricevere oltre 1 milione di elaborati!)

Come valutare il Rapporto di similitudine

In definitiva, il Rapporto di similitudine restituisce al docente informazioni su tutte le fonti in cui Turnitin ha trovato frasi/testo corrispondenti. Ogni corrispondenza è evidenziata e associata alla fonte più rilevante/importante. Come è facile immaginare, confrontando ciascuna corrispondenza con un database di contenuti così voluminoso, si possono riscontrare similitudini con varie fonti. Per questo motivo, determiniamo quale sia la fonte più importante o significativa per ogni corrispondenza e la indichiamo come fonte primaria. Ciò comporta che anche laddove i docenti scegliessero di escludere quella fonte, potrebbe comunque esservi una ulteriore fonte di corrispondenza, ed il punteggio complessivo di similitudine potrebbe quindi rimanere invariato.

Come consigliamo, dunque, di valutare le corrispondenze all'interno del Rapporto di similitudine? In primo luogo, si deve tener presente che ci sono delle opzioni per restringere le corrispondenze rilevate. È possibile scegliere di rimuovere citazioni, bibliografie, piccole corrispondenze inferiori ad un certo numero di parole, fonti o anche interi database. Per esempio, se non si vuole realizzare il confronto con i contributi di altri studenti, gli educatori possono escludere l’archivio dei lavori inviati.

Inoltre, i docenti possono scegliere di escludere una specifica corrispondenza di testo e informare Turnitin del motivo per cui tale corrispondenza non sarebbe valida. Da parte nostra, usiamo questi dati per continuare a istruire il nostro algoritmo di corrispondenze, renderlo più intelligente e determinare risultati di similitudine migliori.

Tutte queste esclusioni possono essere applicate sia prima dell'esecuzione del rapporto di similitudine, che durante l'uso dello stesso. Se si desidera salvare le esclusioni, è possibile stampare o creare un PDF del rapporto in modo da acquisire le modifiche dinamiche.

L'uso di tali esclusioni può contribuire a restringere il campo delle corrispondenze più importanti. Può contribuire, inoltre, ad identificare i punti in cui potrebbero esserci stati dei semplici errori di citazione, e cosí fornire una guida e un feedback allo studente. In base alla valutazione che si intende fornire, il rapporto di similitudine può aiutare a restringere il campo su cui ci si dovrebbe concentrare.

Il punteggio di similitudine indica semplicemente la percentuale di parole simili. Tuttavia, il valore del Rapporto di similitudine risiede nell’aiuto che offre agli educatori nell’identificare i problemi, nel consentire loro di concentrarsi sulle aree di eccellenza o di crescita e nel fornire agli studenti un feedback per migliorare la scrittura mantenendo l'integrità al centro di tutto ciò che fanno.