Οι επιστημονικές δημοσιεύσεις αλλάζουν κανόνες

Εικοσιοκτώ δισεκατομμύρια δολάρια το χρόνο μόνο στις Ηνωμένες Πολιτείες, αυτό είναι το κόστος της πραγματοποίησης βιοιατρικών ερευνών που δεν είναι αναπαράξιμες. Με άλλα λόγια, ξοδεύονται τεράστια ποσά σε έρευνες που οι επιστήμονες δεν μπορούν να επαναλάβουν και να βρουν τα ίδια αποτελέσματα, έρευνες που αντί να προωθούν την επιστημονική γνώση, την υπονομεύουν, συνεισφέροντας τόσο σε καθυστερήσεις όσο και σε αυξημένο κόστος θεραπειών. Πάνω από το 50% των ερευνών και σε άλλους επιστημονικούς κλάδους, όπως η ψυχολογία και τα οικονομικά, δεν είναι αναπαράξιμες.

Πώς φτάσαμε ως εδώ;

Ό,τι είναι καλό για την επιστήμη, δεν είναι απαραίτητα καλό για τους επιστήμονες
O βασικός τρόπος με τον οποίο τα αποτελέσματα των επιστημονικών ερευνών γίνονται γνωστά στην επιστημονική κοινότητα είναι μέσω της δημοσίευσής τους σε εξειδικευμένα περιοδικά, τα «επιστημονικά περιοδικά». Τα περιοδικά αυτά χρησιμοποιούν ειδικούς από κάθε επιστημονικό κλάδο ως κριτές πριν αποδεχτούν ένα άρθρο προς δημοσίευση.

Οι δημοσιεύσεις σε επιστημονικά περιοδικά είναι επίσης το βασικό κριτήριο αξιολόγησης των επιστημόνων. Έτσι, αν οι νέοι επιστήμονες θέλουν να έχουν ελπίδα ότι θα βρουν δουλειά ή αν οι παλαιότεροι θέλουν να ανελιχθούν επιστημονικά, θα πρέπει να δημοσιεύουν συστηματικά τη δουλειά τους. Μάλιστα, θα πρέπει να τη δημοσιεύουν σε επιστημονικά περιοδικά τα οποία να έχουν όσο το δυνατόν υψηλότερο δείκτη απήχησης (η χρησιμότητα ή μη του δείκτη απήχησης είναι μία ενδιαφέρουσα ιστορία, που θα την πούμε όμως μία άλλη φορά). 

Ειδικά τα τελευταία χρόνια ο ανταγωνισμός ανάμεσα στους επιστήμονες για μία ακαδημαϊκή θέση έχει πάρει τεράστιες διαστάσεις. Ενδεικτικά, στην Αμερική έχει υπολογιστεί ότι μόνο το 12,8% όσων κατέχουν διδακτορικό τίτλο θα καταφέρει να βρει θέση σε κάποιο Πανεπιστήμιο. Στη χώρα μας είναι γνωστό ότι τα πανεπιστημιακά τμήματα συρρικνώνονται συνεχώς τα τελευταία χρόνια, καθώς καθηγητές αφυπηρετούν, χωρίς να προσλαμβάνεται αντίστοιχος αριθμός νέων ακαδημαϊκών. Είναι εξάλλου γνωστή η φράση «publish or perish» («δημοσίευσε ή πέθανε») εντός της επιστημονικής κοινότητας. Οι επιστήμονες δεν είναι μόνο οι θύτες, αλλά μάλλον τα θύματα αυτής της λογικής.

Τα ίδια τα επιστημονικά περιοδικά, από την άλλη μεριά, θέλουν να ανεβάσουν τον δείκτη απήχησής τους, και μαζί με αυτόν την αίγλη τους, δημοσιεύοντας καινοτόμα άρθρα, με πρωτότυπες ιδέες και αναπάντεχα ευρήματα, πολλές φορές χωρίς αυστηρούς μεθοδολογικούς ελέγχους. Τα επιστημονικά περιοδικά προσφέρουν πρόσβαση στα άρθρα που δημοσιεύουν κατόπιν αμοιβής ή προσφέρουν ελεύθερη πρόσβαση αν τέτοια αμοιβή έχει δοθεί εκ των προτέρων από τους ερευνητές. Κατά συνέπεια, η αίγλη τους είναι συνάρτηση της οικονομικής τους επιβίωσης.

Έτσι λοιπόν, ό,τι είναι καλό για την επιστήμη (π.χ. αντικειμενικότητα και δυνατότητα αναπαραγωγής αποτελεσμάτων), δεν είναι απαραίτητα καλό για τα επιστημονικά περιοδικά ή για τους επιστήμονες και για την καριέρα τους – ας μην ξεχνάμε ότι ενώ η επιστημονική μέθοδος μάς οδηγεί σε συστηματικά μονοπάτια που αναζητούν την αλήθεια, οι επιστήμονες είναι άνθρωποι, και μάλιστα άνθρωποι με υποχρεώσεις, οικογένειες, λογαριασμούς, αλλά και προσωπικές φιλοδοξίες. 

Κακές μεθοδολογικές πρακτικές
Η επιθυμία των επιστημόνων για εύρεση εργασίας και αναγνώριση από τη μία μεριά και των επιστημονικών περιοδικών για αίγλη από την άλλη μεριά, έχει οδηγήσει σε μια σειρά από πρακτικές που καταλήγουν να αλλοιώνουν την καθαρότητα της επιστημονικής μεθόδου και κατά συνέπεια της ικανότητάς της να προσεγγίσει την αλήθεια για τον κόσμο γύρω μας.

Ένα πρώτο πρόβλημα είναι ότι οι ερευνητές (περισσότερο σε κάποιους επιστημονικούς κλάδους από ό,τι σε άλλους) δεν έχουν κίνητρο να επαναλάβουν τις μελέτες των συναδέλφων τους και να δουν αν μπορούν να τις αναπαράγουν – επειδή, όπως προείπαμε, τα περιοδικά θέλουν πρωτότυπες ιδέες, θα ήταν χάσιμο χρόνου, χρημάτων και ενέργειας αν οι επιστήμονες πραγματοποιούσαν έρευνες που δεν θα είχαν ουσιαστικές προοπτικές δημοσίευσης.

Ένα άλλο σημαντικό πρόβλημα είναι το εξής: Στην περίπτωση που η ανάλυση των δεδομένων οδηγήσει σε αυτό που ονομάζουμε «αρνητικά αποτελέσματα», δηλαδή αν τα δεδομένα δείξουν ότι η υπόθεση που έκαναν οι ερευνητές δεν επιβεβαιώνεται, τότε αυτοί δεν θα επενδύσουν το χρόνο και την ενέργεια που απαιτείται για να γράψουν και να δημοσιεύσουν αυτά τα αποτελέσματα – τα περιοδικά ενδιαφέρονται για καινούργια «θετικά» αποτελέσματα και όχι για αναίρεση παλαιών. Και όμως, τα αρνητικά αποτελέσματα είναι πάρα πολύ σημαντικά. Χωρίς αυτά η επιστημονική βιβλιογραφία μένει ημιτελής και μεροληπτική. Επιπλέον, η μη δημοσίευση αρνητικών αποτελεσμάτων μπορεί να έχει σαν αποτέλεσμα άλλοι ερευνητές να επαναλάβουν εν αγνοία τους την ίδια έρευνα ξοδεύοντας πολύτιμους πόρους. 

Στο πεδίο της στατιστικής ανάλυσης, πρακτικές που μπορεί να κάνουν τα αποτελέσματα να φανούν θετικά −ενώ δεν είναι− έχουν αποκτήσει ενδιαφέροντα ονόματα, όπως p-hacking και HARKing. Το p-hacking σε ελεύθερη μετάφραση σημαίνει το να διαλέγει κανείς τρόπους χειρισμού των δεδομένων ή να επιλέγει τα στατιστικά τεστ που θα χρησιμοποιήσει έτσι ώστε να προκύπτουν θετικά αποτελέσματα. Το HARKing (Hypothesizing After the Results and Known) σημαίνει το να ακολουθεί κανείς την αντίστροφη πορεία στην επιστημονική μέθοδο – αντί να κάνει πρώτα μια υπόθεση και μετά να προσπαθήσει να την επιβεβαιώσει ή να την απορρίψει, πρώτα να αναλύει τα αποτελέσματα και με βάση τα ευρήματα διαμορφώνει την υπόθεση, υποκρινόμενος ότι αυτή ήταν η υπόθεση εξαρχής. Αυτό έχει σοβαρές συνέπειες γιατί αυξάνει κατά πολύ την πιθανότητα τα αποτελέσματα να έχουν προκύψει κατά τύχη.

Οι επιστημονικές δημοσιεύσεις αλλάζουν κανόνες
Οι επιστημονικές δημοσιεύσεις όμως αλλάζουν κανόνες. Με πρωτοπόρους τον Chris Chambers, Καθηγητή Γνωστικής Νευροεπιστήμης στο τμήμα Ψυχολογίας του Πανεπιστήμιου του Cardiff, και τον Marcus Munafo, Καθηγητή Βιολογικής Ψυχολογίας στο Τμήμα Πειραματικής Ψυχολογίας του Πανεπιστημίου του Bristol, το 2013 δόθηκε για πρώτη φορά η δυνατότητα στους ερευνητές να καταθέσουν στο επιστημονικό περιοδικό Cortex, αυτό που ονομάζεται "καταχωρημένη αναφορά" (registered report).

Οι καταχωρημένες αναφορές αναδιαμορφώνουν ριζικά τη διαδικασία της επιστημονικής δημοσίευσης. Στην περίπτωση των καταχωρημένων αναφορών, η αποδοχή από το περιοδικό του άρθρου προς δημοσίευση γίνεται πριν συλλεγούν και αναλυθούν τα δεδομένα − και άρα όταν τα ευρήματα είναι ακόμα άγνωστα. Οι επιστήμονες καλούνται να καταθέσουν ένα λεπτομερές πρωτόκολλο που περιγράφει με σαφήνεια τις ερευνητικές τους υποθέσεις, τον τρόπο που θα συλλέξουν δεδομένα και τον τρόπο που θα τα αναλύσουν – τόσο λεπτομερώς, ώστε οποιοσδήποτε άλλος επιστήμονας να μπορεί να επαναλάβει τη διαδικασία διαβάζοντας αυτό και μόνο το πρωτόκολλο.

Αφού το πρωτόκολλο περάσει επιτυχώς από τη διαδικασία της κρίσης, δηλαδή φανεί ότι πρόκειται να ακολουθηθούν όλες οι σωστές μεθοδολογικές και στατιστικές πρακτικές, τότε το περιοδικό αποδέχεται να δημοσιεύσει το τελικό άρθρο όταν ολοκληρωθεί η έρευνα. Μόνη προϋπόθεση να έχει ακολουθηθεί πιστά το πρωτόκολλο που περιλαμβάνεται στην καταχωρημένη αναφορά. Αν οι ερευνητές θέλουν να αναφέρουν και επιπλέον ευρήματα, μπορούν φυσικά να το κάνουν. Απλά πρέπει να γίνεται σαφές ότι αυτά τα ευρήματα δεν ήταν αναμενόμενα, και άρα μπορεί κανείς να έχει μικρότερη εμπιστοσύνη σε αυτά.

Το μοντέλο των καταχωρημένων αναφορών ξεκίνησε τα πρώτα του βήματα δειλά, αλλά πλέον, το ένα μετά το άλλο, τα επιστημονικά περιοδικά το υιοθετούν. Σήμερα, 101 επιστημονικά περιοδικά, συμπεριλαμβανομένου και του Nature Human Behaviour, προσφέρουν αυτή τη δυνατότητα στους επιστήμονες. Τα υπόλοιπα περιοδικά της οικογένειας Nature έχουν δεσμευτεί να ακολουθήσουν. Εξάλλου, έχει βρεθεί ότι τα άρθρα που ακολούθησαν τη διαδικασία της καταχωρημένης αναφοράς πριν την τελική τους δημοσίευση λαμβάνουν περισσότερες ετεροαναφορές από όσα ακολούθησαν τη συνηθισμένη οδό.

Σε ένα ιδανικό κόσμο, οι επιστημονικές δημοσιεύσεις δεν θα επηρεάζονται από το τι θέλουν να ανακαλύψουν οι επιστήμονες ή από το τι θέλουν να δημοσιεύσουν τα επιστημονικά περιοδικά. Σε ένα ιδανικό κόσμο δεν θα σπαταλώνται πόροι σε έρευνες που δεν ακολουθούν αυστηρή μεθοδολογία ούτε θα μένουν κρυμμένες στα συρτάρια των ερευνητών χρήσιμες μελέτες, επειδή έδωσαν αρνητικά αποτελέσματα. Με τις καταχωρημένες αναφορές ερχόμαστε λίγο πιο κοντά σε αυτόν τον κόσμο.