L'auge de les enquestes científiques: la cerca de representativitat

Les enquestes científiques es van començar a fer l’any 1936 als Estats Units, quan George Gallup, aplicant uns mètodes de mostreig per quota “científics”, va predir amb encert que Franklin D. Roosevelt, el candidat demòcrata, guanyaria les eleccions presidencials del 1936 (Hillygus, 2011), i això va posar en una situació difícil el Literary Digest, que feia sondeigs informals acientífics que prenien com a mostra persones poc representatives de l'electorat nord-americà, atès que enquestava fonamentalment els propietaris d'automòbils i de telèfons, i els subscriptors del Literary Digest, amb la qual cosa excloïa els americans que disposaven de menys recursos durant la Gran Depressió, els quals no es podien comprar un telèfon o un cotxe, ni pagar la subscripció al Literary Digest (Warren, 2000; 2016).

Per bé que el Literary Digest va enquestar deu milions de persones i en va obtenir 2,27 milions de respostes (Freedman et al., 2007), va predir que guanyaria el candidat republicà Alfred Landon, però aquest fou derrotat per Roosevelt, que va obtenir el 60,8% dels vots, enfront del 36,5% de Landon (Leip, 2020). Aquesta clar desencert de l'enquesta del Literary Digest va acabar amb la credibilitat dels sondeigs informals acientífics i va propiciar l'aparició de nous enquestadors que es dedicaven a “fer les coses ben fetes” desenvolupant metodologies d'enquestes científiques. La lliçó del 1936 fou que no era tan important quantes persones s’entrevistava –sempre que fou un nombre raonable (per exemple, com a mínim 400)– com que els enquestadors entrevistessin una mostra representativa.

Per bé que les enquestes polítiques atreuen molt l'atenció, la majoria de les enquestes les encarreguen els planificadors polítics tant del sector públic com del privat. Per exemple, les empreses confien molt en els estudis de mercat per mesurar el grau d’atractiu que poden tenir els seus productes. En les democràcies, els planificadors de les polítiques públiques fan servir les enquestes per dissenyar i executar polítiques per promoure el benestar públic. No obstant això, els planificadors han de ser prou astuts per saber ponderar el valor de l'opinió pública i considerar que el públic sovint només té una percepció superficial dels temes. A la pràctica, els planificadors de les polítiques públiques no haurien d'ignorar l'opinió pública, perquè això provoca índexs més alts de fracàs en la seva execució a causa de la resistència dels ciutadans, cosa que ocasiona sovint retards costosos i litigis (Bourdeaux, 2015).

Obtenir una mostra representativa ha estat sempre l’objectiu de qualsevol enquesta científica

Els planificadors de les polítiques han de ser conscients que els enquestadors afronten avui reptes enormes a l'hora d'intentar obtenir una mostra representativa. L'ús dels telèfons fixos durant dècades com el “patró de referència” de la recerca per enquestes s'ha vist compromès per les noves tecnologies, especialment arran de l'ús de dispositius amb filtre de trucades i dels telèfons mòbils, que han provocat una caiguda dràstica del percentatge de respostes del 36 % el 1997 al 6% al final del 2018, cosa que ha obligat Pew Research i la majoria de les empreses dedicades a fer sondeigs a abandonar els mostreigs a través dels telèfons fixos per ineficients (Kennedy i Hartig, 2019). Els enquestadors han buscat desesperadament com fer la transició de les enquestes telefòniques a metodologies de sondeig alternatives, però continua essent una incògnita si n’hi ha alguna que sigui prou sòlida per generar unes mostres fiables i representatives (Kennedy i Hartig, 2019). Si els responsables de les polítiques confien en les dades obtingudes de les enquestes a l’hora de fer la seva planificació, han de ser conscients dels diferents tipus de metodologies de sondeig que fan servir actualment els enquestadors per poder determinar si els seus resultats són raonablement representatius. Val a dir que un sondeig no representatiu és un sondeig no fiable i, en conseqüència, els planificadors de les polítiques públiques no se n’haurien de servir.

Mostreig per quota. Actualment, els enquestadors, per necessitat, han recuperat una antiga metodologia de sondeig, un xic defectuosa: el mostreig per quota, que va utilitzar per primera vegada George Gallup a les eleccions presidencials del 1936. Gallup va predir que el Partit Demòcrata (FDR) guanyaria amb el 54% dels vots, però en realitat el FDR en va aconseguir el 61% (Cantril, 1991), un resultat que superava amb escreix la predicció, cosa que indicava que la seva metodologia de sondeig s’havia de millorar. En teoria, el mostreig per quota sembla una opció molt encertada, perquè les enquestes extreuen i prenen com a mostra uns enquestats que són proporcionalment representatius de la demografia de l'univers de població objecte d'estudi (p. ex., el 51% de dones i el 49% d’homes; el 71% de blancs, el 12% de negres, el 13% de llatins i el 4% d’“altres”). No obstant això, com va descobrir finalment Gallup, aquesta metodologia parteix del supòsit fals que es coneixen bé les diverses demografies. La realitat és que les llistes de fonts d'informació massives en què es basen els enquestadors (p. ex., les dades del cens, els diversos padrons i d’altres llistes de serveis públics) són imperfectes de partida i queden obsoletes ràpidament. En conseqüència, si els enquestadors busquen entrevistar el 13% dels llatins, però el seu percentatge real és del 19 %, els resultats dels seus sondeigs que reflecteixin les opinions dels llatins seran erronis, perquè en el seu sondeig inicial els llatins estan infrarepresentats.

Els resultats d'una enquesta basada en el mostreig per quota es veuran afectats per la incapacitat de l'enquestador de reflectir perfectament la demografia en les seves mostres, però els enquestadors meticulosos que optin per utilitzar mostreigs per quota haurien de produir uns resultats “prou bons”. Qualsevol empresa de sondeigs ha d'indicar els percentatges de les diverses demografies que ha aplicat a l'hora de presentar els resultats dels seus sondeigs, els quals usualment figuren al final dels resultats. Els planificadors de les polítiques públiques haurien de tenir coneixements suficients a l’hora d’examinar la demografia que s’ha utilitzat per obtenir la mostra, atès que, si les demografies són clarament errònies, també ho seran els resultats de les enquestes.

Mostreig aleatori. Atès que els enquestadors que utilitzaven mostreigs per quota van ser incapaços de predir la victòria de Harry Truman sobre Thomas Dewey a les presidencials de l1948, van decidir passar-se al mostreig aleatori. Idealment, el mostreig aleatori és la millor manera de fer enquestes, perquè no es dóna res per suposat sobre l'univers poblacional. D’acord amb la matemàtica de probabilitats, si tot l'univers de població té les mateixes possibilitats de ser seleccionat, els que siguin seleccionats a l'atzar per formar part de la mostra haurien de representar un microcosmos perfecte de l'univers de població total. Des dels anys seixanta fins a principis del segle xxi (l'era daurada per als sondejos), es van prendre mostres aleatòries de telèfons fixos, quan el 95-96% dels americans utilitzaven aquests telèfons, de manera que els sondeigs resultaven molt precisos i barats.

Tanmateix, les empreses dedicades als sondeigs han hagut d'abandonar en massa les enquestes telefòniques tradicionals perquè aquest mètode de sondeig és avui massa poc rendible (Kennedy i Deane, 2019) atès que l’any 2020 prop del 60% dels americans només tenen telèfon mòbil (Zagorsky, 2019), la qual cosa planteja problema molt seriós per als enquestadors.

L'avantatge evident que suposava arribar a les persones a través dels telèfons fixos és que es trobaven a casa, que és un lloc més avinent per respondre una enquesta, mentre que els usuaris de telèfons mòbils sovint no són a casa i se'ls truca quan no els és convenient de respondre, cosa que incrementa molt la taxa de rebuig. A més, els mòbils estan subjectes a la interrupció de la trucada; la llei federal nord-americana prohibeix trucar a mòbils amb sistemes de marcació automàtica,[i] i sovint amb els números de mòbil no estan associats al domicili actual, sinó al lloc on vivia l’usuari quan va adquirir el telèfon, la qual cosa frustra els intents dels enquestadors que volen localitzar els enquestats que viuen només a la zona objecte del seu estudi (p. ex., Ohio, i no Nova York, que és l'usuari on va comprar el mòbil). Els enquestadors han provat de combinar números de telèfons fixos amb números de mòbils, però aquesta estratègia ha resultat massa cara a l'hora de localitzar les “persones adequades”.

Enquestes automatitzades. En haver d'abandonar les enquestes telefòniques tradicionals, moltes empreses de sondeigs han recorregut a les respostes interactives de veu (IVR) o a les enquestes automatitzades. Les empreses de sondeigs que utilitzen IVR poden arribar a milers de persones per uns poc cèntims per trucada i obtenir, per exemple, 700 respostes en poques hores, tot i l'enorme percentatge de rebuig. Però aquesta metodologia presenta greus deficiències. Un problema és que no hi ha cap garantia que respongui la trucada l’enquestat pertinent per a l'estudi, malgrat que aquest no ha acabat essent un problema insalvable, perquè l'edat i d’altres qüestions relacionades amb la idoneïtat de l'enquestat són preguntes “filtre” que els enquestats sembla que responen amb prou exactitud a l'entrevista en viu. El problema més important és que les dades demogràfiques d'edat, raça, ingressos, educació i domicili dels usuaris exclusivament de mòbils difereixen molt de les dades dels usuaris de telèfons de banda ampla/fixos o dels usuaris de telèfons fixos (Anderson, 2018). Atès que, com ja s'ha dit, la llei federal prohibeix fer trucades telefòniques automatitzades a mòbils, això vol dir que les persones més joves estan summament infrarepresentades a les enquestes automatitzades, ja que només s'arriba, amb una gran desproporció, als usuaris de més edat, els quals tenen telèfons fixos,[ii] i això planteja un problema molt greu de representativitat.

Els enquestadors intenten resoldre aquest problema de representativitat ponderant les dades. Pràcticament totes les dades de l'enquesta són ponderades, així que, en teoria, això no és un problema. Fins i tot durant els anys daurats de les enquestes telefòniques aleatòries a telèfons fixos, es feia normalment alguna ponderació per tal d’ajustar-hi l'edat i el gènere, ja que gairebé sempre s'entrevistava molt desproporcionadament més dones i persones grans. No obstant això, a les enquestes automatitzades, els més joves estan tan summament infrarepresentats que és contrari al sentit comú i al sentit ètic donar més pes als enquestats més joves quan són tan pocs els qui han respost (per exemple, només 5 quan la demografia en demana 57, atès que l'opinió de 5 no pot representar de manera precisa l'opinió de 57) (Cohn, 2016). Així doncs, els responsables de les polítiques haurien de ser conscients dels problemes derivats de les enquestes automatitzades, especialment quan es troben només amb els resultats ponderats de les enquestes. Podria ser una bona idea sol·licitar a l'empresa de sondeigs tant les dades no ponderades com les ponderades, per poder avaluar la representativitat de l'enquesta.

Amb tot, els responsables de les polítiques haurien de ser conscients que la ponderació imperfecta de la demografia pot no marcar una diferència significativa, depenent de les preguntes que es facin. Les tabulacions encreuades d'escrutini mostren sovint que no existeix una diferència real en la manera com responen les preguntes, per exemple, els homes i les dones, o els joves i els adults més grans. Això s'observa usualment en les valoracions dels serveis municipals, per exemple, en què tant els homes com les dones, o els joves i els adults més grans, tendeixen a valorar els serveis municipals més o menys igual. Tanmateix, s'aconsella aquest escrutini perquè algunes preguntes de l'enquesta poden ser demogràficament molt sensibles. Per exemple, quan una ciutat vol saber quants residents estan a favor de construir-hi una nova pista d'hoquei, els resultats diferiran significativament en funció de l'edat i del gènere: els nois joves es mostraran molt més partidaris de construir la pista proposada que els residents més grans, especialment les dones grans. De la mateixa manera, les enquestes als residents gairebé sempre conclouen que els arrendataris tendeixen a mostrar-se més favorables a apujar l'impost sobre béns immobles que els propietaris, perquè aquests han de pagar l'impost i els arrendataris, no.

Finalment, val la pena remarcar que les enquestes automatitzades necessiten trucar a molts milers de números fixos per obtenir una mida de mostra adequada, de manera que aquest sistema només és viable en comunitats molt grans, en què els enquestadors disposen de suficients números de telèfon per completar l'enquesta.

Enquestes per internet. Els enquestadors han estat experimentant amb les enquestes panel per internet als darrers anys, vist el cost prohibitiu de les enquestes telefòniques a números fixos, però els planificadors de les polítiques haurien de ser conscients també dels importants defectes metodològics que tenen aquestes enquestes, fins al punt que l’AAPOR (American Association of Public Opinion Research) va assenyalar l’any 2010 que eren intrínsecament no representatives. Lamentablement, el fonament d’aquesta crítica de l’AAPOR a les enquestes panel per internet encara persisteix, de manera que els resultats d'aquestes enquestes continuen essent sospitosos. Les enquestes panel per internet ara no són tan problemàtiques com abans, perquè ja més del 90% dels americans adults fan servir internet (Clement, 2019). El problema principal de les enquestes panel per internet és que els panelistes no són seleccionats de manera aleatòria per participar en el panel i, a més, sovint se'ls ofereixen recompenses per la seva participació. I, malgrat que es fan esforços per aconseguir que el panel sigui representatiu de les diferents demografies, el fet que els panelistes bàsicament “s’autoescullin” els fa intrínsecament no representatius i, en un sentit real, “entrevistats professionals” com els descriu l’AAPOR, (AAPOR, 2010; AAPOR, 2019). Com passa amb les enquestes automatitzades, una preocupació real per als analistes de les polítiques públiques és que les enquestes panel d'internet sovint són impossibles d'administrar en comunitats petites –per exemple, de menys de 500.000 persones, que freqüentment són el centre d'atenció dels responsables polítics–, atès que les empreses de sondeigs solen tenir problemes per reclutar suficients panelistes perquè reflecteixin la demografia de la comunitat.

En definitiva, els planificadors polítics haurien d'utilitzar les enquestes, perquè resulten essencials per a una planificació intel·ligent. Les enquestes quantifiquen les preferències de l'opinió pública amb relació a les polítiques públiques, i això pot ser una orientació molt útil per als qui les planifiquen, especialment en les democràcies, en què l'opinió pública acompleix i hauria d’acomplir un paper essencial. Però els planificadors polítics han de ser uns usuaris informats sobre els sondeigs d'opinió pública i entendre que avui tots els enquestadors, independentment de les metodologies que utilitzin, tenen problemes de representativitat. Hem destacat les principals raons que n’expliquen el perquè. Amb tot, la bona notícia és que els enquestadors, decidits a obtenir sempre una mostra representativa, han treballat amb diligència per minimitzar els biaixos i generar dades a partir de sondeigs que siguin “prou representatius” per resultar útils a l'hora de planificar les polítiques públiques. Malgrat alguns clamorosos errors de predicció dels enquestadors (com la victòria de Hillary Clinton a les presidencials de 2016 o la derrota del Brexit), recerques recents d'acadèmics de la Universitat de Southampton i de la Universitat de Texas, Austin, conclouen que, “encara que la indústria dels sondeigs afronta una sèrie de reptes importants, no observem cap dada en suport d’una suposada crisi en la precisió de les enquestes” (Jennings i Wlezien, 2018).

Kenneth F. Warren és professor de Ciència Política de la Saint Louis University i president de The Warren Poll.

[i] La Telephone Consumer Protection Act del 1991, en el seu text esmenat, 47 U.S.C. § 227.

[ii] Tècnicament, les lleis federals dels Estats Units permeten fer trucades a telèfons mòbils si abans l’entrevistador contacta en viu l’usuari del telèfon mòbil i després el transfereix a una resposta interactiva de veu (IVR), però aquesta tècnica ha resultat massa poc pràctica o molt cara per a ser útil.

Referències

 AAPOR (2019): Report of the AAPOR Task Force on Transition from Telephone Surveys to Self-Administered and Mixed Mode-Surveys, Task Force Report. Disponible a: https://www.aapor.org/getattachment/Education-Resources/Reports/Report-of-the-Task-Force-on-Transitions-from-Telephone-Surveys-FULL-REPORT-FINAL.pdf.aspx

AAPOR (2010): “AAPOR Report on Online Survey Panels”, 25 de març. Disponible a: https://www.aapor.org/Communications/Press-Releases/AAPOR-Releases-Report-on-Online-Survey-Panels.aspx

Anderson, Chris (2018): “2017 was a good year for (good) polls”. Beacon Research, 20 de gener. Disponible a: https://beaconresearch.com/2017-was-a-good-year-for-good-polls/

Bourdeaux, Carolyn (2008): “Politics versus Professionalism: The Effect of Institutional Structure on Democratic Decision Making in A Contested Policy Arena”. Journal of Public Administration and Theory, 18(3): 349-373.

Cantril, Albert H. (1991): The Opinion Connection: Polling, Politics, and the Press. Washington, DC: CQ Press, p. 93-106.

Clement, J. (2019): “Internet usage in the United States – Statistics & Facts”. Statista, 20 d’agost. Disponible a: https://www.statista.com/topics/2237/internet-usage-in-the-united-states/

Cohn, Nate (2016): “How One 19-Year-Old Illinois Man Id Distorting National Polling Averages”. The New York Times, 12 d’octubre. Disponible a: https://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages.html

Freedman, David; Pisani, Robert; Purves, Roger (2007): Statistics. 4a ed. Nova York: Norton (ISBN 0-393-92972), p. 355-336.

Jennings, Will; Wlezien, Christopher (2018): “Election Polling errors across time and space”. Nature Human Behavior, 2 (abril), 276-283.

Kennedy, Courtney; Deane, Claudia (2019): “What our transition to online polling means for decades of phone survey trends”. FactTank News in the Numbers, 27 de febrer. Pew Research Center. Disponible a: https://www.pewresearch.org/fact-tank/2019/02/27/what-our-transition-to-online-polling-means-for-decades-of-phone-survey-trends/

Kennedy, Courtney; Hartig, Hannah (2019): “Response rates in telephone surveys have resumed their decline”. FactTank News in the Numbers, 27 de febrer. Pew Research Center. Disponible a: https://www.pewresearch.org/fact-tank/2019/02/27/response-rates-in-telephone-surveys-have-resumed-their-decline/

Leip, David (2020): “1936 United States Presidential Election Result”. Disponible a: https://uselectionatlas.org/RESULTS/

Pew Research (2019): “Mobile Fact Sheet”. Disponible a: https://www.pewresearch.org/internet/fact-sheet/mobile/

Warren, Kenneth F. (2001): In Defense of Public Opinion Polling. Boulder, CO: Westview Press, p. 87-88.

Warren, Kenneth F. (2016): “Public Opinion Polls”. Wiley StatsRef: Statistics Reference Online, 2.

Zagorsky, Jay L. (2019): “Rise and fall of the landline: 143 years of telephones becoming more accessible – and smart”. The Conversation. Disponible a: https://phys.org/news/2019-03-fall-landline-years-accessible-smart.html