|
|
|
 |
|
|
02-Mar-2001
|
 |
|
Αρχ Ελλ Ιατρ, 17(5), Σεπτέμβριος- Οκτώβριος 2000, 440-445
ΑΡΘΡO ΣΥΝΤΑΞΗΣ
Συστηματικές ανασκοπήσεις και συστηματικά σφάλματα
Π. ΣΚΑΠΙΝΑΚΗΣ
Ψυχιατρικό Τμήμα, Ιατρική Σχολή, Πανεπιστήμιο
Ουαλίας
Σε προηγούμενο Άρθρο Σύνταξης, αναφέρθηκε η βασική διάκριση των ανασκοπήσεων σε περιγραφικές ή αφηγηματικές και σε συστηματικές.1 Τονίστηκε ιδιαίτερα ότι, αν και οι πρώτες εξακολουθούν να διατηρούν τη σημασία τους στην προαγωγή της ιατρικής γνώσης (και αυτό, άλλωστε, το τεύχος απαρτίζεται μόνο από περιγραφικές ανασκοπήσεις), οι τελευταίες αρχίζουν σταδιακά να τις αντικαθιστούν, σε τομείς όπου η παρέκκλιση από την τεκμηριωμένη μαρτυρία μπορεί να έχει αρνητικά αποτελέσματα για την υγεία.2 Λόγω της σημασίας, λοιπόν, των συστηματικών ανασκοπήσεων για τη λεγόμενη τεκμηριωμένη ιατρική πρακτική (evidence-based medicine),3 συνεχίζουμε, σε αυτό το τεύχος, τη συζήτηση για τις συστηματικές ανασκοπήσεις, θίγοντας ορισμένες πτυχές των αρχών και της μεθοδολογίας τους. Στόχος είναι η επισήμανση των πλεονεκτημάτων των συστηματικών ανασκοπήσεων, αλλά και ο κίνδυνος των συστηματικών σφαλμάτων που υπεισέρχονται, αναπόφευκτα, σε κάθε ερευνητική διαδικασία.
Γιατί συστηματικές ανασκοπήσεις; Για ποιο λόγο να τις προτιμήσουμε, έναντι των κλασικών ή άλλων πρωτογενών τύπων ερευνών; Τι κερδίζουμε αλλά και τι χάνουμε; Για να είναι η συζήτησή μας πιο πρακτική, θα χρησιμοποιηθούν τρία παραδείγματα συστηματικών ανασκοπήσεων, έτσι ώστε οι θεωρητικές έννοιες να συσχετιστούν άμεσα με την κλινική και ερευνητική πράξη. Και οι τρεις αυτές μελέτες έχουν δημοσιευτεί στο British Medical Journal και, εκτός των άλλων, επιλέχθηκαν, επειδή το περιοδικό τις διαθέτει ελεύθερα στο Internet (www.bmj.com). Το πρώτο παράδειγμα προέρχεται από την Ελλάδα (Ινστιτούτο Υγείας του Παιδιού).4 Οι ερευνητές ήθελαν να εξετάσουν την υπόθεση ότι η επιδημία συγγενούς ερυ-θράς, που έπληξε την Ελλάδα το 1993, οφειλόταν εν μέρει στο γεγονός ότι η χώρα μας, τα προηγούμενα έτη, είχε χαμηλά ποσοστά κάλυψης εμβολιασμού έναντι της ερυθράς, με αποτέλεσμα να αυξηθεί η μέση ηλικία νόσησης από ερυθρά και, κατά συνέπεια, να αυξηθούν και τα κρούσματα συγγενούς ερυθράς. Για να εξετάσουν αυτή την υπόθεση, πραγματοποίησαν μια συστηματική ανασκόπηση όλων των ερευνών που είχαν γίνει στην Ελλάδα στο διάστημα 1950– 1997 και αφορούσαν την πολιτική εμβολιασμού, το ποσοστό κάλυψης εμβολιασμού, την εργαστηριακά επιβεβαιωμένη ανοσία και την εκδήλωση ερυθράς και συγγενούς ερυθράς. Η έρευνα αυτή δεν είναι αποκλειστικά συστηματική ανασκόπηση, επειδή οι συγγραφείς έκαναν, στην ουσία, και μια αναδρομική έρευνα των κρουσμάτων ερυθράς και συγγενούς ερυθράς που δηλώθηκαν στην Ελλάδα από το 1960 και μετά.
Η δεύτερη εργασία προέρχεται από την Ολλανδία και είναι μια τυπική συστηματική ανασκόπηση χωρίς ποσοτική σύνθεση των δεδομένων.5 Οι συγγραφείς θέλησαν να εξετάσουν αν οι προληπτικές επισκέψεις σε σπίτια ηλικιωμένων, που ζουν στην κοινότητα, βελτιώνουν τη λειτουργικότητά τους και μειώνουν τη νοσηρότητα ή τη θνησιμότητά τους. Η τρίτη εργασία αποτελεί μια τυπική μετα-ανάλυση, δηλαδή μια συστηματική ανασκόπηση, στην οποία έχει γίνει ποσοτική σύνθεση των δεδομένων των μελετών που συμπεριελήφθησαν. Οι συγγραφείς ανασκόπησαν τυχαιοποιημένες ελεγχόμενες μελέτες (randomized controlled trial, RCT) σχετικές με την αποτελεσματικότητα των αντιλιπιδαιμικών σκευασμάτων στην πρωτογενή πρόληψη της στεφανιαίας νόσου.6
Το πρώτο βήμα για την πραγματοποίηση μιας μελέτης είναι η διαμόρφωση του προβλήματος ή θέματος που θα ερευνηθεί7 (πίν. 1). Στην περίπτωση των συστηματικών ανασκοπήσεων, αυτό δεν περιλαμβάνει μόνο την ερευνητική ερώτηση, αλλά, επίσης, και τον πληθυσμό-στόχο, το περιβάλλον (π.χ. κοινότητα, πρωτοβάθμια φροντίδα, νοσοκομείο), την έκβαση, τη διάρκεια νόσησης, καθώς και τα κριτήρια αποδοχής ή αποκλεισμού των σχετικών μελετών. Λόγω της μεθοδολογίας τους, που προσεγγίζει εκείνη των πρωτογενών δημοσιεύσεων, οι συστηματικές ανασκοπήσεις είναι συχνά περισσότερο κλινικά προσανατολισμένες και μπορούν να απαντήσουν με μεγαλύτερη ακρίβεια σε περιορισμένου εύρους κλινικά θέματα, ιδιαίτερα όσον αφορά την αποτελεσματικότητα θεραπευτικών παρεμβάσεων. Για τους ίδιους λόγους είναι, επίσης, σημαντικές για την αξιολόγηση παρεμβάσεων γενικότερα στη Δημόσια Υγεία.8 Σε αυτές τις περιπτώσεις, προτιμούμε να βασιζόμαστε περισσότερο στις τεκμηριωμένες συστηματικές ανασκοπήσεις παρά στις ιδιοσυγκρασιακές περιγραφικές ανασκοπήσεις. Και στα τρία παραδείγματα, οι συγγραφείς διατύπωσαν ερωτήματα, που ήταν ιδιαίτερα εστιασμένα:
– Μειώνουν την επίπτωση στεφανιαίας νόσου τα αντιλιπιδαιμικά φάρμακα, σε άτομα χωρίς προηγούμενο ιστορικό στεφανιαίας νόσου;
– Ποιό ποσοστό του Ελληνικού πληθυσμού είχε εμβολιαστεί εναντίον της ερυθράς κατά την περίοδο 1950–1997;
– Μειώνουν τη θνησιμότητα των ηλικιωμένων που ζουν στην κοινότητα, οι προγραμματισμένες επισκέψεις στο σπίτι;
Βεβαίως, τα ερωτήματα αυτά θα μπορούσαν να απαντηθούν και με άλλου τύπου έρευνες, αλλά οι συστηματικές ανασκοπήσεις προσφέρουν μια αποδοτικότητα, τόσο σε οικονομικούς όσο και σε χρονικούς όρους, που τις κάνει ιδιαίτερα ελκυστικές.
Υπάρχουν, όμως, και άλλοι λόγοι για την προτίμηση των συστηματικών ανασκοπήσεων έναντι άλλων εναλλακτικών τύπων ερευνών, για ερωτήματα παρόμοια με αυτά των τριών παραδειγμάτων. Το αιτιολογικό, που αναλύεται πληρέστερα από τη Murlow,9 έχει, ενδεικτικά, ως εξής:
α. Η ευκολία εκτίμησης της γενικευσιμότητας (generalisability), της συνέπειας (consistency) ή της ασυνέπειας (inconsistency) μελετών με τον ίδιο σκοπό αλλά με διαφορετική μεθοδολογία. Για παράδειγμα, στη μετα-ανάλυση των αντιλιπιδαιμικών φαρμάκων, οι συγγραφείς συμπεριέλαβαν τελικά 4 τυχαιοποιημένες ελεγχόμενες μελέτες.6 Από την απλή σύγκριση των μελετών, ο αναγνώστης μπορεί να εξετάσει κατά πόσο υπάρχει συνέπεια ή ασυνέπεια στην αποτελεσματικότητα της θεραπείας, ενώ επίσης μπορεί να δει κατά πόσο μπορεί να γενικεύσει τα αποτελέσματα των ερευνών και σε άλλους πληθυσμούς ή περιβάλλοντα. Από τον πίνακα που παρουσιάζουν οι συγγραφείς, φαίνεται ότι και οι 4 μελέτες εμφανίζουν μια τάση (trend) για θετικό αποτέλεσμα, όσον αφορά την πρόληψη νέων περιστατικών στεφανιαίας νόσου, αν και στην πρώτη από τις μελέτες το αποτέλεσμα δεν ήταν «στατιστικά σημαντικό» (πίν. 2). Αντίθετα, στην ολλανδική ανασκόπηση, φάνηκε ότι υπήρχε μεγάλη ασυνέπεια μεταξύ των αποτελεσμάτων των μελετών, όσον αφορά τις προληπτικές επισκέψεις σε σπίτια ηλικιωμένων ατόμων.5
β. Οι συστηματικές ανασκοπήσεις μπορούν να συμβάλουν στην αύξηση της ισχύος (power) και της ακρίβειας (precision) της εκτίμησης του αποτελέσματος (effect). Ο όρος ισχύς αναφέρεται στην ικανότητα μιας μελέτης να καταδείξει μια σχέση (association), όταν αυτή πράγματι υπάρχει.10 Η ισχύς εξαρτάται ιδιαίτερα από το μέγεθος του δείγματος που χρησιμοποιείται. Κατά κανόνα, μικρά δείγματα (πολύ συχνά στην κλινική έρευνα) αδυνατούν εξ ορισμού να ανιχνεύσουν μικρές διαφορές στο μέγεθος του αποτελέσματος.11 Ξαναγυρνώντας πάλι στον πίνακα 2, από τη μετα-ανάλυση του παραδείγματος,6 βλέπουμε ότι, στην πρώτη μελέτη, από τους 1906 συμμετέχοντες που πήραν αντιλιπιδαιμικό φάρμακο, 155 εμφάνισαν στεφανιαία νόσο (επίπτωση 81,3 ανά 1000). Παρόμοια, στην ομάδα ελέγχου σημειώθηκαν 187 νέα περιστατικά από τους 1900 συμμετέχοντες (επίπτωση 98,4 ανά 1000). Στη μελέτη αυτή συμμετείχαν σχεδόν 3800 άτομα και κάποιος θα πίστευε ότι αυτό το μέγεθος του δείγματος θα ήταν αρκετό, για να αποκαλύψει τη διαφορά των 17,1 ανά 1000 που προέκυψε. Ένας απλός υπολογισμός, όμως, της ισχύος της συγκεκριμένης μελέτης δείχνει ότι η ισχύς ήταν μόλις 43%!12 Με άλλα λόγια, η μελέτη ήταν ανεπαρκής να απαντήσει στο συγκεκριμένο ερώτημα και θα χρειάζονταν τουλάχιστον 6.500 άτομα για μια ικανοποιητική ισχύ, στο επίπεδο του 80%. Έτσι, αν και η εκτίμηση της διαφοράς μεταξύ των δύο ομάδων ήταν προς τη σωστή κατεύθυνση (τα αντιλιπιδαιμικά προστατεύουν), ωστόσο τα διαστήματα εμπιστοσύνης περιελάμβαναν τη μονάδα, αν και οριακά, δηλαδή το αποτέλεσμα θα μπορούσε να οφείλεται και στην τύχη (chance). Αντίθετα, η μετα-ανάλυση (που βασίστηκε εν μέρει και σ' αυτή τη μελέτη) συμπεριέλαβε, τελικά, σχεδόν 20.000 άτομα και είχε πραγματικά πολύ μεγάλη ισχύ, για να αποκαλύψει αυτήν ή και ακόμη μικρότερη διαφορά.
Μια άλλη θετική συνέπεια του αυξημένου μεγέθους του δείγματος, που μπορούμε να πετύχουμε με τις μετα-αναλύσεις, είναι η ακρίβεια (precision) της εκτίμησης ενός αποτελέσματος. Σε περιπτώσεις όπου η ακρίβεια είναι μικρή, τα 95% διαστήματα εμπιστοσύνης είναι ευρέα και αντιστρόφως. Με τις μετα-αναλύσεις μπορούμε, πολλές φορές, να πετύχουμε ένα στενό εύρος διαστημάτων και έτσι να αυξήσουμε την ακρίβεια, με την οποία εκτιμούμε το αποτέλεσμα μιας παρέμβασης. Για παράδειγμα, η δεύτερη μελέτη της μετα-ανάλυσης του παραδείγματος παρουσιάζει ίδια σχεδόν εκτίμηση (point estimate) του λόγου των οντζ ή λόγου των ενδεχομένων (odds ratio) με το συνδυαστικό λόγο που υπολογίστηκε από τη μετα-ανάλυση. Τα 95% διαστήματα εμπιστοσύνης στη δεύτερη περίπτωση, όμως, είναι πολύ πιο στενά, δηλαδή η εκτίμηση για την αληθινή τιμή (true value) είναι πιο ακριβής (συγκρίνατε, στον πίνακα 2, το διάστημα της δεύτερης μελέτης 0,46– 0,92 με το συνδυαστικό 0,62–0,79).
Το δεύτερο βήμα στη συγγραφή μιας ανασκόπησης αφορά την αναζήτηση των σχετικών μελετών και την επιλογή τους (πίν. 1). Το στάδιο αυτό ίσως είναι το πλέον σημαντικό, επειδή λάθη σ' αυτή τη φάση δεν είναι δυνατό να διορθωθούν στην ανάλυση και μπορεί να οδηγήσουν σε προβληματική εγκυρότητα όλης της μελέτης. Το στάδιο αυτό είναι ιδιαίτερα ελλειμματικό στις κλασικές ανασκοπήσεις και αυτός είναι ένας ακόμη από τους λόγους που οδήγησαν στην ανάπτυξη της μεθοδολογίας των συστηματικών ανασκοπήσεων. Η αναζήτηση και επιλογή των σχετικών μελετών μπορεί να εισάγει μια σειρά συστηματικών σφαλμάτων (biases), που ανήκουν γενικά στην κατηγορία των συστηματικών σφαλμάτων επιλογής (selection bias).
Γενικά, ο όρος συστηματικό σφάλμα αναφέρεται σε όλα τα λάθη του σχεδιασμού ή και της εκτέλεσης μιας μελέτης που οδηγούν σε μη αληθές αποτέλεσμα.13 Μια μελέτη με συστηματικά σφάλματα δεν απεικονίζει την πραγματική κατάσταση που θέλουμε να περιγράψουμε ή τη συσχέτιση (association) που θέλουμε να αναλύσουμε. Τα συστηματικά σφάλματα, σε αντίθεση με άλλα είδη ερευνητικών σφαλμάτων, όπως το τυχαίο σφάλμα (random error) ή το φαινόμενο της σύγχυσης (confounding), δεν μπορεί να αντιμετωπιστεί στο στάδιο της ανάλυσης των αποτελεσμάτων. Γι' αυτόν το λόγο, είναι απαραίτητο να αναγνωρίζεται και να αντιμετωπίζεται στο στάδιο του σχεδιασμού. Συστηματικά σφάλματα επιλογής είναι εκείνα που προκύπτουν κατά την επιλογή του «πληθυσμού» της μελέτης και τα οποία έχουν ως αποτέλεσμα οι ερευνητικές μονάδες που επιλέγονται να μην είναι αντιπροσωπευτικές του πληθυσμού-στόχου. Αν και σφάλματα επιλογής μπορούν να υπεισέλθουν σε όλους τους τύπους ερευνών, αποτελούν ιδιαίτερο πρόβλημα σε όλες τις αναδρομικού τύπου έρευνες, συμπεριλαμβανομένων βεβαίως και των ανασκοπήσεων.
Στην περίπτωση των ανασκοπήσεων, οι ερευνητικές μονάδες είναι οι επιστημονικές μελέτες. Ο πληθυσμός αναφοράς (reference population), σε κάθε ανασκόπηση, απαρτίζεται θεωρητικά από το σύνολο των επιστημονικών μελετών, οι οποίες ερεύνησαν το θέμα που ανασκοπείται, ανεξάρτητα από τη δημοσίευσή τους σε οποιαδήποτε μορφή ή από την καταλογογράφησή τους στις βιοϊατρικές βάσεις δεδομένων. Δεν ενδιαφέρει, επίσης, η γλώσσα συγγραφής ή η προέλευσή τους. Σε αυτόν τον πληθυσμό, συνήθως, εφαρμόζονται κάποια κριτήρια καταλληλότητας (ή κριτήρια εισαγωγής στη μελέτη μας) και έτσι προκύπτει ο κατάλληλος πληθυσμός (eligible population).
Σε αυτές τις δύο φάσεις αναζήτησης και επιλογής μπορούν να υπεισέλθουν συστηματικά σφάλματα επιλογής (πίν. 3). Στην περίπτωση της αρχικής ανάκτησης όλων των σχετικών άρθρων από τον πληθυσμό αναφοράς, τα σφάλματα επιλογής μπορούν να υπεισέλθουν λόγω προσωπικών μεροληψιών του ερευνητή και λόγω εσφαλμένης αναζήτησης. Η αναζήτηση δεν πρέπει να περιορίζεται μόνο στις μελέτες που έχουν δημοσιευτεί αλλά να επεκτείνεται και σε μελέτες που δεν έχουν δημοσιευτεί. Επίσης, η αναζήτηση πρέπει να περιλαμβάνει όλα τα περιοδικά και όχι μόνο τα «καλά» ή αυτά που καταλογογραφούνται σε βάσεις δεδομένων. Τα σφάλματα αυτά αναφέρονται, γενικώς, ως σφάλματα δημοσίευσης και παραπομπής (publication/citation bias).14 Για παράδειγμα, είναι από παλιά γνωστό ότι εργασίες με αρνητικά αποτελέσματα δημοσιεύονται πιο δύσκολα από αυτές με θετικά ή δημοσιεύονται σε πιο περιφερειακά περιοδικά.15 Αυτό δεν οφείλεται μόνο στους κριτές ή στη Σύνταξη, αλλά και στους ίδιους τους συγγραφείς. Στη φάση της επιλογής των κατάλληλων μελετών, σφάλματα μπορούν να υπεισέλθουν λόγω προσωπικών μεροληψιών του μελετητή. Από τέτοιες προσωπικές μεροληψίες είναι γεμάτες οι κλασικές ανασκοπήσεις και το γεγονός ότι συνήθως γράφονται από πρόσωπα «κύρους» ή «αυθεντίες» δεν μειώνει αλλά αντίθετα αυξάνει την πιθανότητα σφαλμάτων!
Πώς μπορεί κανείς να αποφύγει τα σφάλματα επιλογής, ιδιαίτερα στο πλαίσιο των ανασκοπήσεων; Η λύση θεωρητικά είναι απλή. Στην πράξη, όμως, αποδεικνύεται ιδιαίτερα κοπιώδης. Πρέπει να εντοπιστούν όλες οι σχετικές εργασίες, όπου και αν έχουν δημοσιευτεί ή ακόμη και αν δεν έχουν δημοσιευτεί.16 Αυτό σημαίνει ότι κανείς θα πρέπει (α) να ψάξει όλες τις βάσεις δεδομένων, π.χ. MedLine, Embase, Cinahl, Psychinfo, Current Contents, (β) να ψάξει τις παραπομπές των άρθρων που θα βρει, για άλλα άρθρα που πιθανόν να μην είναι καταλογογραφημένα ή τα οποία δεν μπόρεσε να ανακτήσει (και η τελειότερη αναζήτηση δεν έχει ποτέ ευαισθησία 100%). Προηγούμενα άρθρα ανασκοπήσεων μπορούν να χρησιμεύσουν γι' αυτόν το σκοπό, (γ) να επικοινωνήσει με συγγραφείς που ασχολούνται με το θέμα και να τους ρωτήσει αν έχουν υπόψη τους κάποια δημοσιευμένη μελέτη, η οποία δεν ανακτήθηκε, ή κάποια μελέτη που ξεκίνησε να γίνεται, αλλά ποτέ δεν δημοσιεύτηκε για διαφόρους λόγους, ή κάποια μελέτη που βρίσκεται στο στάδιο της προετοιμασίας ή της υποβολής, (δ) να ψάξει τους τόμους των περιλήψεων από διάφορα σχετικά συνέδρια, (ε) να ψάξει βάσεις δεδομένων διπλωματικών και διδακτορικών εργασιών, (στ) να ψάξει αρχεία καταγραφής μελετών που βρίσκονται στο στάδιο της εκτέλεσης, όπως αυτά που υπάρχουν on-line ή αυτό που διατηρεί η συνεργασία Cochrane (Cochrane Collaboration), (ζ) να ψάξει για εσωτερικές αναφορές σε οργανισμούς, υπουργεία κ.λπ. Πολλά από τα προαναφερόμενα είδη μελετών ανήκουν στη λεγόμενη «γκρίζα» βιβλιογραφία (gray literature).
Σε ποιες και πόσες πηγές θα ψάξει κανείς, εξαρτάται από το ερευνητικό ερώτημα. Βεβαίως, δεν είναι πάντοτε απαραίτητο να εξαντλήσει όλες τις κατάλληλες πηγές. Στη μεθοδολογία της ανασκόπησης, πρέπει να αναφέρονται ποιες ακριβώς χρησιμοποιήθηκαν και είναι στην κρίση του αναγνώστη να δεχθεί ή όχι τα αποτελέσματα ως έγκυρα. (Αντιπαραβάλλετε εδώ την ασαφή μεθοδολογία των κλασικών ανασκοπήσεων: όλα αυτά τα θέματα καλύπτονται από αδιαφάνεια, που δημιουργεί ιδανικές συνθήκες για την παρείσφρυση συστηματικών σφαλμάτων). Για παράδειγμα, στην ελληνική συστηματική ανασκόπηση της συγγενούς ερυθράς, οι συγγραφείς αναζήτησαν το υλικό τους από τις ακόλουθες πηγές:4 (α) από τη βάση δεδομένων του ΙΑΤΡΟΤΕΚ για την περίοδο 1980–1996 και τη βάση του Ινστιτούτου Υγείας του Παιδιού από το 1979–1996 για λήμματα σχετικά με την ερυθρά και τη συγγενή ερυθρά, (β) αναζήτηση «με το χέρι» όλων των παιδιατρικών και άλλων ελληνικών ιατρικών περιοδικών για την περίοδο 1950–1997, καθώς και των περιλήψεων των ετήσιων παιδιατρικών και ιατρικών συνεδρίων για την περίοδο 1975–1997 για σχετικά λήμματα, (γ) αναζήτηση σχετικών άρθρων από τις παραπομπές των άρθρων που ανακτήθηκαν, (δ) από επίσημες, δημοσιευμένες ή μη, αναφορές του Υπουργείου Υγείας και άλλων κυβερνητικών ή μη κυβερνητικών οργανισμών για την περίοδο 1970–1995, (ε) από στοιχεία της Εθνικής Στατιστικής Υπηρεσίας για τις δηλώσεις και τη θνησιμότητα από ερυθρά και συγγενή ερυθρά για την περίοδο 1960–1995. (Ο αναγνώστης που θα πίστευε ότι οι πηγές που μπορεί να αναζητηθούν στην Ελλάδα είναι ελάχιστες, ελπίζουμε τώρα να άλλαξε γνώμη!). Όλη αυτή η εξαντλητική αναζήτηση ήταν απαραίτητη, για να διασφαλιστεί η μείωση των συστηματικών σφαλμάτων. π.χ., αν οι συγγραφείς αναζητούσαν μόνο τις δημοσιευμένες μελέτες, αυτές θα μπορούσε να υποτεθεί ότι περιέχουν πολύ αισιόδοξα στοιχεία για το ποσοστό κάλυψης ή ανοσοποίησης του πληθυσμού, επειδή οι απαισιόδοξες μπορεί να έμειναν απλά ως «εσωτερικές αναφορές» σε κάποιο υπουργείο.
Όταν ολοκληρωθεί η αναζήτηση, πρέπει να αποφασιστεί ποιες από τις εργασίες θα γίνουν τελικά αποδεκτές για περαιτέρω ανάλυση. Η επιλογή αυτή βασίζεται σε κριτήρια εισαγωγής-αποκλεισμού (inclusion-exclusion), που έχουν από πριν τεθεί, κατά τη διαμόρφωση του προβλήματος. Η επιλογή των μελετών είναι μια σταδιακή διαδικασία, η οποία περιλαμβάνει την ανάκτηση του πλήρους κειμένου αυτών που φαίνεται να πληρούν τα κριτήρια, την εκτίμησή τους από ανεξάρτητους μελετητές και την τελική επιλογή αυτών που απαντούν στο ερευνητικό ερώτημα. Για παράδειγμα, τα κριτήρια εισαγωγής-αποκλεισμού, που χρησιμοποιήθηκαν στην ολλανδική ανασκόπηση της αποτελεσματικότητας των προληπτικών επισκέψεων σε σπίτια ηλικιωμένων, ήταν, μεταξύ άλλων, τα ακόλουθα:5 (α) Σε πρώτη φάση, επιλέχθηκαν όλα τα άρθρα που αναφέρονταν σε τυχαιοποιημένες ελεγχόμενες μελέτες της αποτελεσματικότητας των επισκέψεων στο σπίτι ατόμων άνω των 65 ετών, που έμεναν στην κοινότητα. Αυτά τα κριτήρια εφαρμόστηκαν από δύο ανεξάρτητους ερευνητές στους τίτλους, τις περιλήψεις και τις λέξεις-κλειδιά των άρθρων που ανακτήθηκαν. (β) Το πλήρες κείμενο των προηγούμενων άρθρων συγκεντρώθηκε και από το κείμενο αφαιρέθηκαν τα ονόματα των συγγραφέων, του ιδρύματος και του περιοδικού, έτσι ώστε η περαιτέρω εκτίμηση να είναι «τυφλή» (blind). (γ) Στη δεύτερη φάση, οι ερευνητές επέλεξαν εκείνα τα άρθρα, τα οποία πληρούσαν ένα σύνολο κριτηρίων που είχαν τεθεί από πριν, όπως, π.χ., ότι οι επισκέψεις στα σπίτια είχαν ως στόχο την πρόληψη ή μείωση των προβλημάτων που σχετίζονται με την ηλικία, η εκτίμηση των ηλικιωμένων ήταν πολυδιάστατη, δηλαδή παθολογική, ψυχολογική, κοινωνική κ.λπ., το πρόγραμμα δεν απευθυνόταν αποκλειστικά σε άτομα που είχαν προηγουμένως νοσηλευτεί ούτε προοριζόταν αποκλειστικά για την υποστήριξη μιας συγκεκριμένης πάθησης, ως μέτρο έκβασης είχε χρησιμοποιηθεί τουλάχιστον η ψυχοκοινωνική ή η φυσική λειτουργικότητα ή οι εισαγωγές σε νοσοκομεία ή η επίπτωση των πτώσεων (falls) ή η θνητότητα. Σε περίπτωση διαφωνίας μεταξύ των ερευνητών, αυτή λυνόταν με συμφωνία μεταξύ τους για το αν θα πρέπει η μελέτη να συμπεριληφθεί ή όχι. Με τον τρόπο αυτόν, οι Ολλανδοί ερευνητές ανέκτησαν αρχικά 244 περιλήψεις άρθρων σχετικών με το θέμα τους. Από τα άρθρα αυτά, 29 επιλέχθηκαν στην πρώτη φάση και 15 στη δεύτερη.
Το τρίτο βήμα αναφέρεται στην εξαγωγή των δεδομένων (data extraction) και στην ανάλυση.7 Δεδομένα, τα οποία εξάγονται, περιλαμβάνουν, μεταξύ άλλων, τους αριθμούς των ασθενών, τα κοινωνικοδημογραφικά χαρακτηριστικά τους, είδη θεραπειών, το είδος της έκβασης, παράγοντες κινδύνου που μελετήθηκαν, συγχυτικούς παράγοντες, τη διάρκεια της παρακολούθησης, τη χώρα όπου πραγματοποιήθηκε η μελέτη, το έτος δημοσίευσης κ.λπ. Τις περισσότερες φορές, τα δεδομένα παρουσιάζονται υπό τη μορφή ενός πίνακα, που αποσκοπεί, εκτός των άλλων, στην καλύτερη εκτίμηση του βαθμού ομοιότητας των μελετών. Η εκτίμηση του βαθμού ομοιότητας των μελετών είναι ένα από τα πιο σημαντικά βήματα σε μια συστηματική ανασκόπηση και συνήθως περιγράφεται με τον όρο εκτίμηση της ετερογένειας (heterogeneity) των μελετών.17 Οι μελέτες μπορεί να διαφέρουν σε κλινικά χαρακτηριστικά (κλινική ετερογένεια), στην ποιότητα (μεθοδολογική ετερογένεια) και στα αποτελέσματα (ετερογένεια αποτελεσμάτων). Γενικά, για την εκτίμηση της ετερογένειας, χρειάζεται συνδυασμός κοινού νου και στατιστικών τεχνικών.18 Όταν οι μελέτες είναι σχετικά ομοιογενείς, τότε είναι δυνατό να υπολογιστεί ένα συνοπτικό σταθμισμένο αποτέλεσμα με την τεχνική της μετα-ανάλυσης. Επανερχόμενοι στα παραδείγματα που χρησιμοποιούμε, βλέπουμε τα εξής: (α) Στην ελληνική ανασκόπηση δεν τέθηκε θέμα συνδυασμού των δεδομένων, επειδή ο στόχος της μελέτης ήταν διαφορετικός. Παρόλα αυτά, μπορεί κανείς να συμπεράνει ότι τα δεδομένα που συλλέχθηκαν, παρουσίαζαν, σε γενικές γραμμές, μεγάλη ετερογένεια, τόσο ποιοτικά όσο και στον τομέα των αποτελεσμάτων. (β) Στην ολλανδική ανασκόπηση, οι ερευνητές έκριναν ότι οι μελέτες είχαν σημαντική μεθοδολογική ετερογένεια και έτσι αποφάσισαν να μην κάνουν ποσοτική σύνθεση των δεδομένων. (γ) Στη μετα-ανάλυση των αντιλιπιδαιμικών φαρμάκων, οι μελέτες ήταν σχετικά ομοιογενείς και η στατιστική δοκιμασία, που χρησιμοποιήθηκε για την ετερογένεια, έδωσε τιμή του x2 που δεν ήταν στατιστικά σημαντική. Γι' αυτόν το λόγο, τα δεδομένα συγχωνεύτηκαν για τον υπολογισμό μιας σταθμισμένης μέσης τιμής (weighted average) των μεμονωμένων λόγων των οτζ.
Δεν είναι λίγοι εκείνοι που έχουν εκφράσει τις διαφωνίες τους με τη λογική των συστηματικών ανασκοπήσεων. Περισσότερες επιθέσεις έχει δεχθεί η μετα-ανάλυση, επειδή δημιουργεί μερικές φορές μια ψευδαίσθηση αντικειμενικότητας, εκεί όπου πολλές φορές βασιλεύει η υποκειμενικότητα. Η σύνθεση μελετών με μεγάλη ετερογένεια μοιάζει με την πρόσθεση μήλων με πορτοκάλια. Σημαντικά προβλήματα παρουσιάζει ακόμη το γεγονός της δυσκολίας εκτίμησης των συστηματικών σφαλμάτων των επιμέρους εργασιών. Στατιστικές τεχνικές για την επισήμανση των συστηματικών σφαλμάτων δεν μπορούν να υπάρξουν. Η άκριτη, λοιπόν, χρήση των μετα-αναλύσεων μπορεί μερικές φορές να δημιουργήσει λανθασμένα συμπεράσματα. Ο αντίλογος, βέβαια, υποστηρίζει ότι αυτό μπορεί να συμβεί σε οποιοδήποτε τύπο έρευνας. Οι συστηματικές ανασκοπήσεις, μάλιστα, αποτελούν ένα μέσο για την ανάδειξη αυτών των προβλημάτων.18 Όπως έγραψε ένας επιδημιολόγος, με κριτική διάθεση,19 ο λόγος για την ύπαρξη των συστηματικών ανασκοπήσεων είναι προφανής, η μέθοδος είναι σχετικά απλή, αλλά τα αποτελέσματα πρέπει να ερμηνεύονται με πολύ προσοχή, επειδή η αρχή, πάνω στην οποία στηρίζονται, αντίκειται στη θεμελιώδη αρχή της επιστημονικής μεθόδου, που θέλει τις υποθέσεις να προηγούνται των αποτελεσμάτων και όχι να έπονται.
ΒΙΒΛΙΟΓΡΑΦΙΑ
