Målinger mister mening

Fejl

JFolder::files: Stien er ikke en mappe: /web/samswww/public_html/joomla/plugins/system/jcemediabox/addons

Søndag, 01. maj 2005 12:00
Skrevet af Loa Riis Dalgaard

"Danskerne frygter samfundets undergang." "Unge vil ikke deltage i velfærden." Sådan lød det, da dagbladet Information gennem hele december 2004 malede danskernes mistillid til velfærdssamfundet hen over forsiden. Seks artikler og en leder blev det til. Alt sammen bygget på én meningsmåling. Men var avisens storalarm berettiget? Gennem et casestudie ses der nærmere på de trykte mediers formidling af meningsmålingers resultater.

Loa Riis Dalgaard, Stud. Medier og Kommunikation, Aarhus Universitet

Det er en almindelig opfattelse, at meningsmålinger er et godt instrument at måle befolkningens holdning med. Det er da også en rimelig påstand, da meningsmålinger uden problemer kan betragtes som repræsentative for hele den danske befolkning hvis de vel at mærke udføres korrekt og tolkes med omtanke.

Den danske befolkning mener…
Mængden af nyhedsartikler baseret på meningsmålinger er steget markant gennem de sidste 10 år. I 2003 blev der lavet nyhedshistorier på baggrund af 220 forskellige meningsmålinger. Dette tal var i 1989 kun 161. I alt blev det i 2003 til over 3000 artikler med de nyeste tal og procenter, når citathistorierne tælles med. Og dette tal indbefatter kun de danske målinger. Det betyder, at der blev trykt nyhedshistorier på baggrund af en eller flere befolkningsgruppers meninger på to ud af tre af årets dage.

Men det er ikke kun antallet af målinger, der har ændret sig. Der er også sket en drastisk udvikling i, hvad meningsmålingerne forventes at kunne kortlægge. Det er ikke længere rene valgundersøgelser med ja/nej-spørgsmål, der dominerer nyhedshistorierne. Nu vil redaktionerne i stedet have målinger, der viser danskernes holdning til alt fra indviklede indenrigspolitiske spørgsmål til retten til ytringsfrihed. Men kan medierne håndtere disse undersøgelsers kompleksitet og formidle resultaterne forsvarligt? Svaret er nej. Som denne artikel vil vise, lykkes det nemlig langtfra altid journalisterne at forvandle fascinationen af tal til meningsfulde analyser af samfundets tilstand.

Holdninger og facts
Typemæssigt kan meningsmålinger deles op i to hovedgrupper. På den ene side er der målinger af den objektive konkrete virkelighed, som fx hvad respondenten vil stemme i morgen, eller om han har kendskab til et bestemt vaskepulvermærke. Denne gruppe af målinger kræver ikke megen stillingtagen fra respondenten, da svaret stort set er givet på forhånd.

Den anden gruppe målinger udgøres af de subjektive holdningsundersøgelser, hvor respondenten bliver bedt om at forholde sig til et udsagn og erklære, om han er enig eller uenig. Denne form for undersøgelser er noget mere kompleks, da den kræver, at respondenten forholder sig til et oftest indviklet spørgsmål uden tid til at reflektere over svaret.

Derfor vil der tit være indre selvmodsigelser i besvarelserne i sidstnævnte slags undersøgelser. Problemet opstår dels på grund af den manglende tid til at reflektere over spørgsmålene, og dels fordi de præformulerede udsagn ikke altid passer på respondentens mening. Respondenternes besvarelser i undersøgelsen er derfor ikke altid forenelige. Man bør derfor være mere varsom og tage sine forbehold, når man tolker denne slags målinger.

Dog skræmmer den større kompleksitet i tolkningen af resultaterne ikke medierne væk. Tværtimod stiger mediernes dækning af meningsmålinger, der kortlægger befolkningens holdning. 48 % af målingerne i 2003 var holdningsundersøgelser. I 1989 var dette tal kun 35 %. Undersøgelserne strækker sig over indviklede emner som overvågning, integration, homoseksuelles ret til at adoptere, politikermoral og tillid til FN og EU.

Mediernes meningsfulde uvirkelighed
For det meste udføres holdningsmålingerne for medier eller store organisationer med direkte henblik på publicering. Det skete f.eks., da Information i november 2004 gennemførte en måling af danskernes holdning til velfærdssystemets fremtid. Undersøgelsen blev udført af Epinion A/S og bygger på kvantitative telefoninterviews med 1000 danskere. Dataindsamlingen mundede ud i en rapport på 43 sider, hvori undersøgelsens syv spørgsmål var krydstabuleret med respondenternes baggrundsdata. Alt var rene tal. Det er på baggrund af denne rapport alene, at avisen efterfølgende bragte seks længere artikler samt en leder.

Målet med undersøgelsen var at få et indblik i befolkningens holdning til velfærden. Et noget diffust emne, som respondenterne måske ikke havde en velovervejet holdning til på forhånd. Der var dog taget højde for kompleksiteten i opbygningen af undersøgelsen, idet den spredte sig over flere spørgsmål om samme emne. Ved at spørge ind til det samme flere gange kan man nemlig bevare det vanskelige i emnet, på trods af, at det skal beskrives og behandles ud fra procentsatser. På den måde belyses det fra flere vinkler. Det svarer med Ole Borres ord til "… at bruge flere termometre til at måle den samme temperatur for at gardere sig imod, at et af dem viser forkert." (Borre, O.: Brug og misbrug af meningsmålinger, p. 30)

Undersøgelsens resultater skulle danne grundlag for en artikelserie om danskernes frygt og håb for velfærden. Med målingen ønskede Information at konkretisere et abstrakt emne ved at binde historierne op på danskerne selv og dermed skabe grundlag for debat.

Det lykkedes. Historierne blev alle citeret i de andre medier. Problemet er bare, at der var tale om et emne, mange danskere ikke vil have en gennemtænkt holdning til, når de bliver ringet op. Svarene måtte derfor som altid komme lidt på må og få.

Derfor var det yderst vigtigt, at Information i fortolkningen af undersøgelsen tog højde for sværhedsgraden af spørgsmålene og derfor så undersøgelsen som en helhed og ikke blot som isolerede enkeltspørgsmål. Faldgruben er, at sådanne undersøgelser til trods for deres tilsyneladende ligefremhed kan være vanskelige at håndtere. "Det drejer sig ofte om behandling af "bløde", emotionelt prægede svar, som massemedierne og deres læsere gerne ser presset ind i den fundamentale "ja-nej-ved ikke"-skabelon." (Vilstrup, K.: Ja, nej, ved ikke, p. 18) Og når det sker, vil fortolkninger ofte ende langt fra virkelighedens verden.

Meningernes puslespil
Det er flere steder i undersøgelsen tydeligt, hvorfor det er farligt at se spørgsmål til sammensatte emner hver for sig i stedet for at sammenholde deres resultater. Et eksempel er spillet mellem besvarelserne på velfærds-undersøgelsens tredje og syvende spørgsmål.

I spørgsmål 3 blev respondenten bedt om at klassificere sin enighed med udsagnet "Alt for mange tænker kun på, hvad de kan få ud af velfærdssamfundet, og ikke hvad de kan bidrage med". Dette erklærede 23 % sig helt enige i, mens 49 % var enige. Kun 1 % var helt uenige og 16 % uenige. Men da det kom til respondentens egen holdning til v
elfærdssystemet i spørgsmål 7, svarede 80 %, at de så samfundet som et fællesskab, og at det ikke betød så meget om det, de gav, gik lige op med det, de modtog. Kun 15 % betegnede velfærdssamfundet som et forsikringsselskab, de blot var med i for at få noget ud af det.

Svarene på de to spørgsmål går således imod hinanden, idet respondenterne i spørgsmål 3 tilkendegav, at for mange udnytter velfærdssamfundet, mens de i spørgsmål 7 udtrykte, at de ikke selv udnytter samfundet, men føler sig moralsk forpligtet til at deltage i det.

Netop fordi det er i kombinationen af respondenternes forskellige svar, at deres virkelige holdning kommer til udtryk, var det vigtigt, at Informations artikler byggede på en forståelse af hele undersøgelsen og ikke blot på enkelte spørgsmål. Dette betyder ikke, at den enkelte artikel ikke kunne være bygget på besvarelserne fra ét enkelt eller to spørgsmål. Men det var centralt, at den skrivende journalist havde et klart overblik over hele undersøgelsens resultater, før hun dykkede ned i det enkelte spørgsmål og behandlede det isoleret. En tolkning på spørgsmål 3 alene kunne således i sidste ende føre til, at danskerne er imod velfærdssamfundet, fordi for mange mennesker blot tænker på at udnytte det. Denne tolkning er dog overilet, hvilket er tydeligt, hvis man kigger på undersøgelsens andre spørgsmål. Situationen er lidt den samme som hvis man vil bedømme motivet på et puslespil ud fra en enkelt brik. Det er ikke rationelt. Når man imidlertid først ved, hvordan motivet ser ud, kan man godt bedømme, hvor den enkelte brik hører hjemme.

Hvis vi vender tilbage til undersøgelsens motiv, så tegnede den et noget ambivalent billede af danskernes holdning til velfærdsstaten. På den ene side vil de gerne være del af det og frygter for dets undergang, men på den anden side vil de heller ikke lade systemet udnytte. Det er således ikke en manglende vilje til at yde en indsats for velfærden, der fik respondenterne til at være enige i udsagnet om udnyttelse i spørgsmål 3. Det var nærmere en opfattelse af, at der er andre i samfundet, som ikke vil yde den samme indsats som dem selv. Denne udledning understøttes også af, at 66 % af respondenterne i spørgsmål 5 svarede, at folk er mindre indstillede på at hjælpe hinanden i dag, end de var for 10 år siden. Det er altså kendetegnende for undersøgelsen, som for mange andre før den, at respondenten selv mener at leve op til sine forpligtelser, mens naboen ikke gør det. Samlet kan man derfor konkludere, at danskerne har en positiv indstilling til velfærdssystemet, og at 51 % har tillid til, at det vil bestå om 25 år.

Den sorte drejning
Siden Information fik leveret tabelrapporten, bragte de en forsidehistorie på baggrund af undersøgelsen ca. hver tiende dag, hvoraf den første blev trykt d. 30. november. Hver gang der blev bragt en historie, var det med en længere tophistorie på forsiden og 1-2 længere artikler inde i avisen. Alle artiklerne var vinklet på danskernes manglende tillid til velfærdssamfundet og forskellige aspekter i forbindelse hermed. Dette er en noget pessimistisk vinkel, idet tallene viste, at danskerne generelt ikke havde noget imod at bidrage til velfærdssamfundet. Information har således nogle tal, der kunne drejes begge veje, og de valgte den negative vinkel helt i tråd med mediernes natur.

Der er ikke megen nyhedsværdi i, at danskerne har tillid til det system, de er medlem af. Frygten og mistilliden vil uden tvivl sælge mere end den positive historie. Snittet i tallene er det altafgørende for undersøgelsens brugbarhed. Indgangsvinklen er derfor, at "holdninger er ikke sorte eller hvide, men alle mulige nuancer af gråt. Afhængigt af, hvor man skærer, får man derfor forskellige antal svarpersoner i den mørke eller lyse ende af spektret." (Borre, O.: Brug og misbrug af meningsmålinger, p. 30)

Denne måde at behandle tallene på er netop en af mulighederne i en holdningsundersøgelse, hvor spørgsmålene ikke alle er opdelt i ja og nej, men i skalaer og nuancer. Men det er også en af farerne, fordi man derved har en stor risiko for at komme til at dreje tallene, så de ikke længere afspejler det reelle overordnede billede af hele undersøgelsen.

Historien om de 9 arbejdsløse
Artikelrækken startede d. 30. november 2004, da Information bragte de to første artikler på baggrund af undersøgelsen. Begge artikler omhandlede danskernes manglende tro på, at velfærdssamfundet vil bestå. Dog var artiklen inde i avisen vinklet mere specifikt på de arbejdsløses frygt for velfærdssamfundets overlevelse. Artiklen fremhævede, at hele 64 % af de arbejdsløse frygtede, at velfærdssamfundet vil være væk om 25 år, mens dette tal kun var 44 % blandt den samlede befolkning. Disse to tal var de eneste, læseren fik, og der var ingen tabeller eller grafikker, der kunne vise fordelingen for de andre beskæftigelsesgrupper. Men tolkningen af tallene indeholdt et problem. Gruppen af arbejdsløse indeholdt nemlig kun 9 respondenter. Når artiklen forklarede, at 64 % af de arbejdsløse ikke troede på, at velfærdssamfundet vil bestå, dækkede denne procentsats altså over, at 6 ud af 9 arbejdsløse udtrykte deres mistillid til velfærdssamfundet. At overføre disse 6 personers besvarelser til alle arbejdsløse i Danmark var naturligvis hverken statistisk signifikant eller forsvarligt.

Men intet sted kunne læseren se, hvor mange besvarelser det drejede sig om og havde derfor ingen chance for at vurdere udsagnet. Procentangivelsen gav således besvarelserne et præg af fakta, de ikke kunne bære. Problemet er, at "I vår type samfunn har vi lett for å se på tall som uttrykk for absolutte sannheter. Meninger kan også måles, men de er flyktige og det er ikke alltid vi måler det vi tror" (Paulsen, A. et al.: Dagens mening, p 27)

To plus to giver fem
9 dage efter de to første artikler kom endnu 3 artikler baseret på undersøgelsen, hvoraf den ene var en leder. Artiklerne var skrevet af de samme journalister og med samme vinkel. Frygten for velfærdssamfundets undergang var også i disse artikler det altoverskyggende tema. Og det på trods af, at undersøgelsen viste, at over halvdelen af respondenterne ikke fandt, at samfundet er i fare for undergang. Hovedtemaet var, at 90 % frygter for velfærdssamfundet, og igen var tolkningen ikke korrekt. Information lavede altså igen et snit i tallene, så farven blev mere sort end grå. De 90 % indeholdt nemlig også en gruppe på 9 %, der havde svaret ved ikke.

Hvad værre er, at undersøgelsen blev brugt til at beskrive noget, der reelt ikke blev spurgt om. I et af spørgsmålene blev samtlige respondenter bedt om at pege på den mest sandsynlige trussel mod velfærden, hvilket jo i sig selv er fint nok. Men svarene blev brugt til at beskrive, om samfundet var truet i det hele taget, og det er en mistolkning, da alle respondenter svarede på spørgsmålet, og ikke kun dem, der fandt velfærden truet.

Konklusionen på tallene - at der er forandring på vej, og at danskerne frygter, men også forventer den - var derfor noget tillempet. Skribenterne kiggede således slet ikke på sammenhængen mellem spørgsmålene om velfærdens overlevelse og trusler, men koblede i stedet blot tallene sammen. Hvis tolkningen skulle være korrekt, skulle de af respondenterne, der ikke følte sig truet, være sorteret fra. Det ville fordele procenterne en del anderledes. Så ville over halvdelen have svaret, at velfærdstaten ikke er truet i stedet for 9 %. Derved ville hele opbygningen af frygt, som er grundlaget for artiklerne, blive undergravet.

De misforståede unge
Ti dage senere bragte Information endnu 2 artikler. Denne gang var vinklen ikke længere, hvorvidt velfærdssamfundet ville overleve i det hele taget. Omdrejningspunktet var i stedet økonomien i samfundet og danskernes indstilling til de penge, de giver til staten. Specielt artiklen om de unge danskeres holdning til skatten og velfærden viser sig at være interessant.

Igen fejlede journalisterne i udforskningen af det enkelte spørgsmål. Artiklen byggede alene på undersøgelsens fjerde spørgsmål, hvilket var meget problematisk for dens fortolkninger. Den endte med at være misvisende, fordi der hverken blev taget højde for, hvilke spørgsmål respondenten var blevet stillet umiddelbart inden, eller for den præcise spørgsmålsformulering. De unge blev beskrevet som grådige, fordi de mener, at en persons ydelser til samfundet skal gå lige op med det, man modtager. Men undersøgelsen som et hele viser noget andet. I virkeligheden fortæller tallene, at de unge er indstillede på at give det tilbage, som de allerede har modtaget. Hvis man ser spørgsmålet i sammenhæng med undersøgelsens andet spørgsmål om velfærdsydelser, kan man nemlig se, at de fleste unge mener at have modtaget mere, end de har givet. Formuleringen i det fjerde spørgsmål er samtidig helt præcist, at det er vigtigt, at man giver det tilbage, som man har modtaget, set henover et livsforløb. De unge var således allerede inde i tankegangen om, at de har modtaget meget i løbet af deres liv, og at de forventer at betale tilbage. Derfor svarer de, at de mener, at det er vigtigt, at det går lige op.

Hvis man ydermere havde set spørgsmålene i sammenhæng med undersøgelsens sidste spørgsmål, ville man også se, at især de unge ser på velfærdssamfundet som et fællesskab, man er forpligtet til at bidrage til. De er på den måde indforståede med, at bidraget til velfærdssamfundet er vigtigere, end mængden af det, man får igen. Det mente hele 81 % af de 1834-årige.

Artiklen er et godt eksempel på, hvad der sker, når man isolerer svarene fra et enkelt spørgsmål i en holdningsundersøgelse og bruger dem uden relation til de andre spørgsmål. Ikke alene går nuancerne tabt. Konklusionerne bliver også direkte forkerte, fordi de ikke ses i sammenhæng med det store billede.

Kreative tolkninger
Man må efterhånden konstatere, at der ikke kan være tale om en bevidst forvridning fra journalisternes hånd. Den forkerte brug af undersøgelsen må nærmere være et udtryk for en manglende indsigt i tallenes og spørgsmålenes indbyrdes sammenhæng og en manglende forståelse for, hvordan undersøgelser af denne art kan bruges og tolkes.

På et helt overordnet plan kan det problematiseres, at Information brugte undersøgelsen på den måde, de gjorde. Der blev altså i alt brugt seks lange artikler og en leder på undersøgelsen fordelt over tre dage, selvom tallene fra starten ikke var særligt stærke.

Ingen af artiklerne byggede på den overordnede og positive konklusion, der bør drages ud af tallene. Vinklen i samtlige artikler var i stedet, at velfærdssamfundet er truet, og at det er et spørgsmål om tid, før det bryder sammen. Når Information valgte denne vinkel, er det sandsynligvis, fordi negative historier sælger bedre end positive historier, og at dette var den forventede konklusion ud fra de historier og meningsmålinger, der tidligere har været i medierne.

Endvidere kan detaljeniveauet i artiklerne kritiseres. Læseren får på intet tidspunkt mulighed for at vurdere tallene på et kvalificeret grundlag. Undersøgelsens baggrundsfakta nævnes kun i meget få af artiklerne og besvarelserne fra samtlige respondentgrupper inddrages aldrig. Det eneste, læseren får at forholde sig til, er nogle få fremhævede procentsatser, hvis brugbarhed de ikke har forudsætninger for at vurdere.

Når meningsmålinger bliver brugt på denne måde, er problemet, at det komplekse og dybe i tallene forsvinder, og deres procentsatser kommer til at fremstå isoleret i hele deres uvidenskabelighed. Alle tvetydigheder bliver pillet ud af tallene. Man samler simpelthen respondenterne i én gruppe, der er for, og én gruppe, der er imod, i stedet for at bibeholde den gradbøjning med fem trin, der var udgangspunktet. Deraf får man nogle større, men også mere upræcise tal.

Journalisterne hos Information synes altså at glemme, at "det er respondenternes oplevelse af spørgsmålene og realiteterne, man registrerer, ikke realiteterne selv". (Vilstrup, K.: Ja, nej, ved ikke, p. 67) Dermed opstår problemstillingen, hvor tallene bliver til fakta uden restriktioner. Det risikofyldte ligger i, at både læsere og journalister stirrer sig blinde på procenterne, og baggrundsmaterialet derfor forsvinder.

Velfærdsundersøgelsen fra Information viser dermed med al tydelighed, hvor vigtigt det er, at holdningsundersøgelser bruges rigtigt, og at spørgsmålene ses i sammenhæng. Faren ved disse undersøgelser er mistet overblik og fordybelse i detaljen uden at tage stilling til helheden. Derved opstår fejlkonklusionerne og skævvridningerne af tallene.

Et skræmmende billede tegner sig, når man tænker på, at der bliver brugt stadig flere meningsmålinger, og de bliver tillagt stadig større vægt som et udtryk for befolkningens holdning. For hvor ligger skellet mellem journalistisk vinkling af meningsmålinger og reel misbrug og overfortolkninger - og hvis ansvar er det at kontrollere det?

Senest opdateret ( Mandag, 08. marts 2010 21:06 )