Validitate, fiabilitate, credibilitate / plauzibilitate a rezultatelor de cercetare

• Suport de curs - continuare (3).

 Criteriile după care evaluăm calitatea unei cercetări sociologice sunt, în principal, următoarele:

1. abordează o temă de interes social (cu semnificaţie socială);
2. interes pentru obiectivitatea rezultatelor:
1. autorii conştientizează cât mai multe surse de distorsiune în procesele de recoltare şi prelucrare a datelor, precum şi în procesele de interpretare şi prezentare a rezultatelor, şi caută modalităţi pentru a le diminua;
2. explicitează toate acestea, oferindu-i cititorului atent posibilitatea să judece limitele de validitate a concluziilor;
3. autorii explicitează în ce măsură rezultatele pot fi generalizate sau transferate;
3. interes pentru protecţia subiecţilor cercetării sau / şi consimţământ informat:
1. autorii respectă rigorile etice impuse de normele legale şi profesionale în vigoare (uneori, acestea se pot contrazice)
2. explicitează modalităţile prin care au asigurat protecţia subiecţilor sau / şi au obţinut consimţământul informat.

 (...)
„Obiectivitatea e o realizare simultană a unei cât mai bune fiabilităţi şi cât mai bune validităţi. Fidelitatea se referă la gradul în care datele [finding] sunt independente de circumstanţele accidentale ale cercetării, iar validitatea la gradul în care datele sunt interpretate într-un mod corect”.

(Kirk şi Miller, 1986, citat în Patton, 2002: 94).

Validitatea, fiabilitatea şi credibilitatea constituie criteriile cel mai frecvent utilizate în evaluarea calităţii unei cercetări (cantitative sau calitative) (Strauss şi Corbin, 1998: 268).

La acestea se adaugă etica cercetării , care se referă la respectarea drepturilor subiecţilor cercetării (oamenilor care sunt cercetaţi).

1. Validitatea (validity):

• în sens tradiţional, se referă la „corespondenţa dintre o observaţie şi realitatea empirică vizată de această observaţie” (Mucchielli, 2002, p. 431);
• gradul în care cercetătorul „observă într-adevăr ceea ce crede că observă” (cf. M. Lessard-Hébert, Michelle, G. Goyette, G. Boutin, 1990, p. 66-67) ;
• gradul în care un instrument recoltează ceea ce pretinde că recoltează;
• „dacă variabilele pe care le identifică primesc denumirile corecte” (Ibidem).

În sensul cel mai larg, validitatea se referă la credibilitatea comparativă a rezultatelor şi interpretărilor : ce argumente avem că o propoziţie cu privire la un obiect e mai « bună », mai « valabilă » decât o alta ?

Tipuri de validitate (Kirk şi Miller, 1986, Reliability and Validity in Qualitative Research, cf. M. Lessard-Hébert, Michelle, G. Goyette, G. Boutin, 1990, p. 66):

• Aparentă sau referenţială – datele apar ca evidenţe empirice
• Instrumentală – două instrumente alternative (de exemplu interviul şi observaţia, ori interviul şi documentarea) produc rezultate similare
• Teoretică – datele corespund teoriei (verifică, testează, confirmă teoria)

• [Conceptuală – cercetătorul şi subiecţii „folosesc aceeaşi terminologie de bază (echivalenţă semantică) aplicată aceloraşi referenţi empirici (echivalenţă categorială)”, dar „trebuie să fim foarte precauţi atunci când există o echivalenţă semantică fără o echivalenţă categorială”, King, 2005: 63]
• Logică – inferenţele operate de cercetător sunt logic corecte
• Procedurală – au fost utilizate metode uzuale în comunitatea ştiinţifică

Validitatea perfectă nu e posibilă nici măcar teoretic, de aceea interesul cercetătorilor – chiar cantitativişti – se concentrează mai mult asupra fiabilităţii şi exigenţelor etice (Ibidem).

O ilustrare de lipsă de validitate teoretică - conceptualizare inadecvată: Sondaj Gallup, septembrie 2003, „Intoleranţă, discriminare şi autoritarism în opinia publică”.- Autoritarismul e măsurat pe baza următorilor itemi: - România are nevoie de un conducător puternic, care să facă ordine în ţară (mai degrabă acord + acord total = 25+59). - Lucrurile ar merge mult mai bine dacă toată lumea ar asculta întotdeauna de ordinele autorităţilor (27+38) – [în context, e greu de estimat dacă respondenţii au interpretat termenul „ordinele” într-un sens autoritarist sau în sensul de „reguli”, „legi”]. - Cei care nu arată respectul cuvenit imnului, steagului şi eroilor naţionali trebuie pedepsiţi (27+31) – [foarte probabil, respondenţii au asociat acest item mai degrabă cu patriotismul.] - Păstrarea ordinii publice este mai importantă decât respectarea libertăţii individului (24+30) – [la ultimul item, în care libertatea individului apare ca opţiune clară, scorurile sunt mai mari]. - Ascultarea şi respectarea autorităţilor sunt cele mai importante lucruri pe care copiii trebuie să le înveţe (29+25) - În familie, bărbatul este cel care trebuie să ia decizii (17+22) - Cărţile şi ideile care pun la îndoială autoritatea statului ar trebui interzise (18+18) - Copiii ar trebui uneori pedepsiţi cu bătaia pentru a învăţa cum să se poarte (14+6) - Adeseori, folosirea violenţei este mai eficientă decât discuţiile îndelungate (8+5) - Este firesc ca fiecare să îşi aleagă propriul stil de viaţă, chiar dacă acesta diferă de al majorităţii (34+45). Concluzia formulată de cercetători a fost: „Opiniile românilor măsurate prin acest sondaj indică existenţa unei puternice tendinţe spre autoritarism” (p. 27). Datele recoltate în această cercetare nu sunt valide pentru că indicatorii aleşi măsoară un alt fenomen decât acela pe care se pretinde că îl măsoară – dacă îi analizăm mai atent, vedem că ei măsoară mai degrabă atitudini paternaliste, asociate unei nevoi de ordine (securitate, protecţie) şi justiţie socială: - autoritarism = situaţie în care un conducător poate lua decizii chiar arbitrare, iar subalternii trebuie să se supună oricare ar fi aceste decizii; noţiunea de decizie arbitrară este esenţială; - paternalism = situaţie în care un conducător are o poziţie de pater (tată): ia toate deciziile importante, cere ascultare cvasi-absolută, sancţionează abaterile, dar le oferă în schimb „copiilor” săi protecţie. Conceptualizarea iniţială a fost inadecvată. În consecinţă, concluzia nu e validă.

Proceduri prin care putem construi şi întări validitatea

Cercetarea calitativă exclude ideea de proceduri înalt standardizate.

„Versiunea noastră de analiză calitativă oferă un ansamblu de proceduri foarte utile – mai ales linii directoare, tehnici sugerate, dar nu comandamente”(Strauss şi Corbin, 1998:4).

„Cel mai puternic mesaj al acestei cărţi este nu acela că metodele particulare prezentate trebuie aplicate scrupulos, ci acela că prioritatea cercetătorilor calitativi rămâne aceea de a crea, testa şi revizui metode de analiză simple, practice şi efective” (Miles şi Huberman, 1994: 3).

Proceduri generale :

• Interacţiunea între cercetător şi grupul studiat (contact direct sau proximitate)
• Durata mare a observaţiilor; revenirea în acelaşi teren
• Înregistrarea cât mai fidelă a datelor
• „Triangularea” (punerea în perspectivă reciprocă a):
• perspectivelor teoretice;
• tehnicilor de culegere a datelor (combinarea unor tehnici diferite);
• perspectivelor subiective:

§  mai mulţi cercetători diferiţi (vârstă, sex, educaţie etc.), eventual adepţi ai unor puncte de vedere diferite ;

§   repetarea observaţiilor / interpretărilor pe care le face acelaşi cercetător în „terenuri” diferite, în condiţii diferite, la momente diferite (v. şi fiabilitate).

• Explicitarea alegerilor făcute în fiecare fază a cercetării
• [Reflecţia critică asupra alegerilor făcute]
• [Supunerea acestor alegeri unei evaluări / critici externe]
• Refutarea, căutarea cazurilor negative = care contrazic datele deja culese sau interpretările făcute
• Introducerea în analiză a cazurilor / situaţiilor atipice
• Coerenţa internă a datelor
• Plauzibilitatea, verosimilitudinea, „autenticitatea” (Atkinson, 1990): li se restituie subiecţilor rezultatele şi se verifică în ce măsură se recunosc sau nu în modelul construit de cercetător („Aţi spus că... Să înţeleg că...” sau „Lăsaţi-mă să reformulez. E corect dacă spun că...”)
• Compararea cu rezultatele altor cercetări (validitate externă)
• Respectarea exigenţelor etice (a se vedea mai jos)

Greşeli frecvente:

• Probele empirice nu există sau sunt insuficiente.
• Probele nu se referă la cazuri suficient de variate (grupuri sau indivizi care se deosebesc după diferite criterii relevante pentru tema dată).
• Nu se iau în considerare cazurile atipice.
• Nu se caută cazurile negative.
• Interpretarea probelor empirice nu corespunde relatărilor subiecţilor.

Lectură autonomă :

Pentru a înţelege mai multe, citiţi King, Keohane, Verba, 2000 : 35-38 şi 59-60.

Exerciţiu autonom :

Comparaţi datele calitative cu cele cantitative din perspectiva surselor de distorsiune şi a şanselor de a ajunge la o cunoaştere validă.

***

2. Fiabilitatea / fidelitatea (reliability):

• Se referă la independenţa rezultatelor de un context concret, particular al acţiunii.
• Rezultatele sunt repetabile, reproductibile în contexte diferite
• Permite generalizarea rezultatelor
• Pentru un instrument de cercetare (de regulă chestionar): aceeaşi procedură de măsurare conduce cu regularitate la acelaşi rezultat, indiferent de condiţii (cf. M. Lessard-Hébert, Michelle, G. Goyette, G. Boutin, 1990, p. 66)

Tipuri de fiabilitate (Kirk şi Miller, 1986, cf. M. Lessard-Hébert, Michelle, G. Goyette, G. Boutin, 1990):

• „quijotescă” (quixotic reliability) – aceeaşi metodă conduce constant la acelaşi rezultat; e o utopie; când apare, ne indică o problemă de validitate;
• diacronică (procedura testare-retestare) – ne indică stabilitatea în timp; în ştiinţele socio-umane e greu de obţinut, dată fiind istoricitatea obiectelor de cercetare (schimbarea lor foarte rapidă, inclusiv sub impactul cercetării);
• sincronică – mai mulţi observatori ajung la acelaşi rezultat; totuşi, rareori observaţiile sunt identice (din cauza medierilor culturale ale percepţiilor şi interpretărilor).

Reproductibilitatea şi generalizarea rămân totuşi o problemă controversată în cercetarea calitativă.

o   Majoritatea cercetătorilor consideră că ele nu ar trebui să constituie criterii esenţiale în evaluarea unui demers calitativ (v., de exemplu, Silverman, 2004 ).

o   Unii autori consideră că ceea ce ne interesează în cercetarea calitativă sunt detaliile unor cazuri singulare, nu generalizările; de exemplu, trăirile fiecărei femei victimă a violenţei domestice interesează pentru ele însele, nu pentru generalizare (Tutty, Rothery, Grinnell Jr., 2005: 23-24); un focus-grup urmăreşte cunoaşterea detaliată a unui subiect, nu generalizarea (Krueger, Casey, 2005: 238).

o   Strauss şi Corbin (1998: 266-267) argumentează că înţelesul conceptului reproductibilitate (fiabilitate) poate fi extins: „Pornind de la aceeaşi perspectivă teoretică cu un prim cercetător, urmând aceleaşi reguli generale pentru colectarea datelor şi analiză şi asumând un set de condiţii asemănător, un alt cercetător ar trebui să fie capabil să ajungă fie la aceeaşi explicaţie teoretică cu privire la fenomenul investigat, fie la una similară”; nu e nevoie ca observaţiile şi rezultatele să fie exact aceleaşi, e suficient ca ele să fie consistente între ele şi consistente cu teoria. Pornind de aici, unii autori vorbesc despre generalizare teoretică: nu în raport cu populaţia sau contextele empirice, ci în raport cu explicaţia teoretică produsă.

o   Strauss şi Corbin preferă conceptul putere explicativă în locul conceptului generalizare:

o   „Puterea explicativă [explanatory power] înseamnă „capacitatea predictivă”, altfel spus capacitatea de a explica ce s-ar putea întâmpla în situaţii date precum stigmatizarea, bolile cronice, ori conştientizare limitată [closed awareness]” (Strauss şi Corbin, 1998: 267).

o   „Nu sugerăm că o teorie concretă (una dezvoltată din studiul unei arii mici de investigaţie şi dintr-o populaţie specifică) are puterea explicativă a unei teorii mai largi, mai generale. (...) Totuşi, meritul real al unei teorii concrete [substantive theory] constă în capacitatea ei de a vorbi în mod specific pentru populaţiile din care a fost derivată şi de a le fi restituită [apply back to] tot lor.

o   Concluziile ne arată: (a) ce configuraţie de condiţii conduce la apariţia unui fenomen (probleme, aspecte controversate, strategii utilizate sau acţiuni/interacţiuni pentru a gestiona problemele şi controversele) şi (b) ce consecinţe apar ca rezultat al acţiunilor/interacţiunilor respective.

o   În varianta de tip grounded theory, criteriile de evaluare propuse vizează mai ales adecvarea procesului de cercetare  şi formularea concluziilor pe baza unor fundamente empirice (Strauss şi Corbin, 1998: 268-274).

o   Krueger şi Casey (2005: 238) propun conceptul transferabilitate în locul aceluia de generalizare: „atunci când cineva vrea să se folosească de rezultate, trebuie să se gândească dacă poate transfera concluziile în alt mediu”; citându-i pe Lincoln şi Guba (1989), ei atenţionează că transferul impune re-contextualizare.

Proceduri prin care putem construi şi întări fiabilitatea cunoaşterii

Toate procedeele de întărire a validităţii (pentru o populaţie sau o locaţie dată, o cercetare validă e şi fiabilă).

• Repetarea sistematică a observaţiilor (interviurilor) şi înregistrarea cât mai fidelă a datelor
• Varierea cazurilor, „terenurilor” sau site-urilor
• Varierea condiţiilor naturale de observare (intervievare): anotimpuri, noapte / zi, perioade ale zilei, spaţii diferite etc.
• Plauzibilitatea, verosimilitudinea, „autenticitatea” (Atkinson, 1990): cititori din alte grupuri decât cele cercetate se recunosc în modelul construit de cercetător.

8. Surse de distorsiune în producerea datelor calitative.

Comparaţie cu cercetarea cantitativă

Datele calitative au, prin definiţie, un dublu caracter subiectiv : ele exprimă punctele de vedere subiective ale actorilor sociali, aşa cum sunt ele înţelese, interpretate de cercetător.

Când cineva spune « am văzut cu ochii mei » sau « am auzit cu urechile mele » nu înseamnă că respectivul fapt s-a petrecut neapărat aşa cum e relatat. Nici chiar atunci când mai multe persoane declară că au văzut sau au auzit acelaşi lucru nu înseamnă că acel lucru s-a petrecut într-adevăr astfel : psihologia socială a dovedit că grupurile umane pot construi, prin contagiune şi influenţă reciprocă şi progresivă între membri, « adevăruri » proprii, care nu au un corespondent în realitate ; aceste construcţii sunt dependente de contextele locale şi se modifică în timp.

·         Surse de distorsiune (bias) care ţin de subiecţi :

o   amploarea experienţei subiective ; unii subiecţi au un univers social mai amplu, alţii mai restrâns ; unii au o experienţă mai îndelungată, alţii mai limitată ;

o   centralitatea sau marginalitatea experienţei ; unii subiecţi au o poziţie centrală în raport cu o acţiune oarecare şi dispun de mai multe informaţii (« actori sociali – cheie ») ; alţii au o poziţie marginală ;

o   interesele în raport cu acţiunea ; unii pot avea un interes, alţii pot avea un alt interes ; relatările pot fi partizane ;

o   poziţia în raport cu cercetătorul (raportul de putere) ;

o   medierile culturale :

-          structurile percepţiei ;

-          limbajul ;

-          semnificaţiile atribuite.

·         Surse de distorsiune care ţin de cercetător :

o   perspectiva teoretică (conştientizată sau implicită) ;

o   poziţia în raport cu acţiunea studiată, dependentă de grupurile de apartenenţă / referinţă : etnie, gen, vârstă, socializare / educaţie, statut socio-profesional, apartenenă sau simpatii politice etc. ;

o   poziţia în raport cu populaţia studiată (raport de putere) ;

o   experienţă de cercetare ;

o   medierile culturale.

Studiu autonom :

Pentru a înţelege mai bine, citiţi Laplantine, 2000 : 39-122.

O lectură mai dificilă, dar esenţială, este Max Weber, 2001 : 28-66.

*** Cititi continuarea in articolele urmatoare !

.