Quindi vuoi togliere di mezzo i sondaggi

La nostra moderna ossessione per il sondaggio presidenziale risale, naturalmente, al 2008, quando il metodo di aggregazione di Nate Silver rassicurò i liberali ansiosi che Obama avrebbe davvero vinto. I semi di un’altra ossessione – la critica della validità di tali sondaggi – sono sorti anche durante quelle elezioni, con dibattiti sui sondaggi condotti tramite cellulare vs. rete fissa (la mancanza del primo, è stato suggerito, spiegava che Obama non sarebbe stato ancora più avanti). Ma non è stato fino al 2012, quando un uomo di nome Dean Chambers ha introdotto il termine “non distorto” nel lessico elettorale attraverso un sito Web (ora defunto) dedicato a dimostrare che i sondaggi erano sbagliati su Mitt Romney, che il passatempo del sondaggio decollò davvero. I sondaggi del 2012 non erano sbagliati, ma i sondaggi del 2016 lo erano (o meglio, come direbbe qualsiasi scienziato di dati, hanno detto che Hillary era più probabile che vincesse di briscolae sappiamo come è andata a finire) e, di conseguenza, nessuno si fida del vantaggio dell’8% di Joe Biden verso luglio 2020. Poiché l’analisi del sondaggio è diventata più sofisticata, anche i modi in cui le persone si esprimono in questi sondaggi sono sbagliati. Ecco come farlo correttamente e come non farlo.

Non distorcere i sondaggi. No, sul serio, non farlo. I sondaggi sono misurazioni imprecise. Hanno margini di errore per un motivo. Non sono “giusti” o “sbagliati”: sono istantanee di un momento, piccoli frammenti di informazioni.

Guarda i sondaggi in più contesti. Non ti ho persuaso, vero? Belle. Se devi iniziare a intrometterti, puoi rendere più utili i sondaggi visualizzandoli insieme ad altri sondaggi, ovvero aggiungendo il contesto di altri piccoli frammenti di informazioni, e quindi se sei davvero ambizioso, fai un po ‘di matematica per creare medie di polling avanzate o modelli che prendono tali medie e le trasformano in probabilità. Ma niente di tutto ciò implica guardare un singolo sondaggio e decidere che è sbagliato e poi cercare la prova nelle viscere della cosa.

Non andare nei campi incrociati. Uno di maggior parte modi comuni in cui i criminali del sondaggio amatoriale vanno male si sta scavando nei campi incrociati di un singolo sondaggio (dove sono ospitate informazioni sulle risposte per razza, genere, età, ecc.) al fine di dichiarare che campionava le quantità sbagliate di diversi dati demografici. Sostenitori di Bernie Sanders durante le primarie democratiche del 2020, ad esempio, ha sostenuto che i sondaggi non riuscivano a catturare il suo sostegno perché i campi incrociati mostravano che non c’erano abbastanza giovani intervistati.

Sembra intelligente ma, fondamentalmente, non è come funzionano i sondaggi. Le società elettorali non chiedono semplicemente a un campione casuale di persone la loro opinione, quindi scrivono e chiamano un giorno. Quando si tratta di elezioni, prima chiedono da qualche parte tra le 300 e le 5000 persone la loro opinione, quindi ponderano quelle opinioni in base alle categorie in modo che le medie finali nel sondaggio riflettano i dati demografici delle persone intervistate. Hai troppe vecchie nebbie che rispondono al telefono? Hanno meno peso nella media finale.

A volte, i sondaggi avranno un numero sufficiente di rispondenti in una determinata tabella a campi incrociati da non elencare nemmeno i risultati e invece generare un n / a (non applicabile). Uno spioncino non iniziato nei modi di sondaggio potrebbe pensare che ciò significhi che nessuno in quella categoria è stato intervistato, ma non è così. La maggior parte dei sondaggisti non condivide i risultati quando viene raggiunto un numero molto limitato di persone in una determinata tabella a campi incrociati perché il margine di errore sale così in alto, ma ciò non significa che nel complesso non siano ponderati correttamente nel sondaggio.