Αξιολόγηση στα Βρετανικά πανεπιστήμια: μια ιστορία πρωταθλητισμού

Σήμερα ήταν σημαντική μέρα – για όλα τα πανεπιστήμια στη Βρετανία, για το δικό μου πανεπιστήμιο, για την ομάδα μου, αλλά και προσωπικά. Ένα λεπτό μετά τα μεσάνυχτα ανακοινώθηκαν από τον αρμόδιο κρατικό οργανισμό οι αξιολογήσεις για την έρευνα σε όλα τα πεδία σε όλα τα πανεπιστήμια της Βρετανίας (το λεγόμενο REF - Research Excellence Framework). Αυτό γίνεται κάθε 8 περίπου χρόνια (η τελευταία αξιολόγηση ήταν το 2014) και η προετοιμασία για την επόμενη REF ξεκινάει την επόμενη μέρα της κατάθεσης της προηγούμενης γιατί η αξιολόγηση καλύπτει όλη την έρευνα όλων των ακαδημαϊκών καθόλη τη διάρκεια της οκταετίας.

Με βάση αυτή την αξιολόγηση η κυβέρνηση δίνει τη χρηματοδότηση στα πανεπιστήμια, που είναι και τα μόνα κρατικά χρήματα που παίρνουμε ως ίδρυμα αφού οι φοιτητές πλέον πληρώνουν πλήρη δίδακτρα (υπάρχει και κρατική χρηματοδότηση για συγκεκριμένα ερευνητικά προγράμματα αλλά αυτή γίνεται από τον εκάστοτε οργανισμό σε συγκεκριμένα άτομα ή ομάδες). Επομένως η REF είναι μια φοβερά κρίσιμη και ανταγωνιστική διαδικασία τόσο για την οικονομική βιωσιμότητα και πορεία του κάθε πανεπιστημίου, όσο και για το σκορ στους πίνακες κατάταξης (league tables), τη φήμη τους, αλλά και τις «μετοχές» και τη ζήτηση του κάθε ακαδημαϊκού στην κιμαδομηχανή των μεταγραφών και της αγοράς.

Η αξιολόγηση της REF γίνεται από μεγάλα πάνελ με τους κορυφαίους ακαδημαϊκούς της χώρας ως αξιολογητές, σε 34 Γνωστικά Πεδία (Units of Assessment). Κάθε πανεπιστήμιο επιλέγει σε ποια θα καταθέσει (π.χ. το πανεπιστήμιό μου κατέθεσε σε 13). Το δικό μου Γνωστικό Πεδίο είναι το 34: Έπικοινωνία, Πολιτισμικές Σπουδές και ΜΜΕ.

Η αξιολόγηση χωρίζεται σε τρία κομμάτια:

• Δημοσιεύσεις (Outputs, 65% του συνολικού βαθμού), κυρίως σε επιστημονικά περιοδικά και δευτερευόντως σε ακαδημαϊκές μονογραφίες, όπου ο κάθε ακαδημαϊκός καταθέτει μέχρι και 5 από τις καλύτερές του δημοσιεύσεις
• Αντίκτυπος της έρευνας στην κοινωνία (Impact, 25% του συνολικού βαθμού), όπου καταθέτουμε case studies (4 σελίδες το κάθε ένα) όπου αποδεικνύουμε πώς κάποια συγκεκριμένα ερευνητικά πρότζεκτ οδήγησαν σε μετρήσιμη βελτίωση ή αλλαγή στην κοινωνία∙ είτε σε κυβερνητική πολιτική, είτε σε επιχειρήσεις, είτε σε τοπικές κοινωνίες, είτε σε κλάδους, οργανισμούς ή ακόμα και στην κοινωνία συνολικά. Ωστόσο, ο κάθε ισχυρισμός πρέπει να αποδεικνύεται με αναλυτικά στοιχεία (evidence) απτής βελτίωσης π.χ. σε κέρδη ή έσοδα, συμπεριφορά πολιτών ή εμπλοκή χρηστών, δημόσια υγεία κλπ.
• Ερευνητικό περιβάλλον (10% του συνολικού βαθμού) που καλύπτει τις ερευνητικές δομές του ιδρύματος, τον αριθμό των διδακτορικών φοιτητών, τις πολιτικές συμπερίληψης και όλες τις άλλες ερευνητικές δραστηριότητες και τη συνολική παρουσία μιας ομάδας στον τομέα της στη χώρα ή και διεθνώς

Οι αξιολογητές δίνουν ένα ξεχωριστό σκορ σε κάθε δημοσίευση, σε κάθε case study, σε κάθε κομμάτι του ερευνητικού περιβάλλοντος. Το σκορ αυτό κυμαίνεται από 1 αστέρι που είναι το χαμηλότερο (έρευνα διακεκριμένη σε εθνικό επίπεδο) και τα 2 αστέρια (έρευνα διεθνώς διακεκριμένη) μέχρι τα 3 (διεθνώς άριστη έρευνα) και τα 4 αστέρια που είναι το υψηλότερο (παγκοσμίως κορυφαία έρευνα). Υπάρχει και το εφιαλτικό σενάριο –το μισητό γράμμα U– που σημαίνει ότι κάτι βρίσκεται εκτός πεδίου ή για κάποιον άλλον λόγο δεν έπρεπε να έχει κατατεθεί και αξιολογείται με μηδέν. Το κρίσιμο σημείο βέβαια είναι ότι το κράτος μοιράζει όλη τη χρηματοδότησή του μόνο στις έρευνες που λαμβάνουν 3 ή 4 αστέρια.

Το κάθε πεδίο στο κάθε πανεπιστήμιο έχει μια ηγετική ομάδα που όχι μόνο συντονίζει τη συλλογή και την κατάθεση όλων των στοιχείων και του φακέλου στο τέλος της οκταετίας, αλλά από την αρχή του κύκλου δουλεύει ατομικά και συστηματικά με τον κάθε ερευνητή στο πανεπιστήμιο για να καλλιεργήσει την έρευνά του, να τον υποστηρίξει, να τον συμβουλέψει για το πώς να προχωρήσει ώστε στο τέλος του κύκλου να έχει τα καλύτερα αποτελέσματα∙ ούτως ώστε, δηλαδή, η κάθε ομάδα να έχει όσο το δυνατόν περισσότερες αξιολογήσεις με 3 και 4 αστέρια, και όσο το δυνατόν λιγότερες με 1 ή 2.

Σχεδόν από την αρχή του κύκλου το πανεπιστήμιο κεντρικά οργανώνει ετήσια stock-takes και mocks, δηλαδή καταγραφές του υλικού και προσομοιώσεις της τελικής αξιολόγησης για να ξέρει την κάθε δεδομένη στιγμή πόσες δημοσιεύσεις έχει, πόσα case studies, πού χρειάζεται να επενδύσει και τι να υποστηρίξει κ.ο.κ. Το πανεπιστήμιο προσλαμβάνει εξωτερικούς συμβούλους που κατά τη διάρκεια της οκταετίας λειτουργούν ως ανεξάρτητοι αξιολογητές, παραδίδουν εργαστήρια και σεμινάρια προετοιμασίας για τη REF και δίνουν αναλυτικά σχόλια για τη βελτίωση των case studies και την επιλογή των δημοσιεύσεων.

Τα τελευταία χρόνια μία από τις αρμοδιότητές μου ήταν να συντονίζω το κομμάτι του Αντίκτυπου για το Γνωστικό Πεδίο 34 στο πανεπιστήμιό μου (Impact Champion), δουλεύοντας με άλλους τέσσερις συναδέλφους στην ηγετική ομάδα του ΓΠ34. Η ανάπτυξη του Αντίκτυπου είναι μια αρκετά μακροπρόθεσμη διαδικασία γιατί –πέραν των δημοσιεύσεων ή χρηματοδοτήσεων που πρέπει να έχει το κάθε case study– απαιτεί διαρκή εμπλοκή και εκτεταμένη συνεργασία των ερευνητών με παράγοντες της αγοράς και της κοινωνίας, ανάπτυξη δράσεων που θα μεταδώσουν τα αποτελέσματα της έρευνας σε αυτούς, ανάπτυξη δράσεων που θα μεταβολίσουν την έρευνα σε αλλαγή πολιτικής, ανάπτυξη μεθόδων και συλλογή μετρήσιμων δεδομένων που θα λειτουργήσουν ως αποδείξεις για τους ισχυρισμούς στα case studies. Η κάθε φράση των τεσσάρων σελίδων περνάει από εξονυχιστικό έλεγχο και εξαντλητική επιμέλεια ούτως ώστε με τον πιο περιεκτικό και πειστικό τρόπο να αποδεικνύει την επίτευξη του Αντίκτυπου.

Το ενδιαφέρον με τον Αντίκτυπο είναι ότι ποτέ δεν ξέρεις ποια ιδέα, ποια δράση, ποια επαφή ή ποιο εύρημα μιας έρευνας θα φτάσει μέχρι το τέλος, θα κλείσει τον κύκλο, θα κάνει δηλαδή τη διαφορά στην κοινωνία. Και σίγουρα δεν ξέρεις ποια ερευνητική ομάδα θα καταφέρει εν τέλει να συλλέξει όλα τα στοιχεία που χρειάζονται εγκαίρως ώστε το case study να είναι πειστικό και ακλόνητο. Τα case studies του Αντίκτυπου είναι σαν τα φυτά. Σπέρνεις όσους περισσότερους σπόρους μπορείς, τα ποτίζεις όλα, τα φροντίζεις επιμελώς όλα, και στο τέλος διαλέγεις αυτά που τελικά αναπτύχθηκαν και άνθησαν πιο εντυπωσιακά.

Τα τελευταία χρόνια δούλεψα με ερευνητές ή ομάδες σε 15 πιθανά case studies. Τελικά καταθέσαμε τα 6 που θεωρούσαμε πιο ισχυρά (ο αριθμός ορίζεται από το κράτος με βάση τον αριθμό των απασχολούμενων ερευνητών στο πεδίο). Η διαδικασία αυτή ήταν εντατική – συναντήσεις, συζητήσεις και αξιολογήσεις σε εβδομαδιαία ή και καθημερινή βάση επί χρόνια. Κάποιες αποφάσεις ήταν επίπονες, όπως όταν αποφάσισα να «τραβήξω την πρίζα» από το δικό μου case study που δούλευα επί τρία χρόνια για να αφιερωθώ στον συντονισμό και την υποστήριξη άλλων που θεωρούσα –απ’ ό,τι αποδείχθηκε σωστά– ότι είχαν καλύτερες πιθανότητες επιτυχίας. Το συλλογικό συμφέρον, το συμφέρον της ομάδας και του ιδρύματος, είναι απείρως σημαντικότερα του ατομικού γιατί εν τέλει η καλή επίδοση του ιδρύματος μας ωφελεί όλους. Το διακύβευμα είναι μεγάλο: ένα case study που αξιολογείται με 4 αστέρια μπορεί να φέρει στο πανεπιστήμιο εκατοντάδες χιλιάδες στερλίνες ετησίως.

Τα αποτελέσματα μάς δικαίωσαν: τέσσερα case studies έλαβαν 4 αστέρια, ενώ τα άλλα δύο έλαβαν 3 αστέρια. Η πλειοψηφία των δημοσιεύσεών μας επίσης αξιολογήθηκαν με 3 ή 4 αστέρια.

Μερικά από τα ερευνητικά προγράμματα της ομάδας μας:

• βελτίωσαν την τηλεοπτική κάλυψη των Παραολυμπιακών Αγώνων, βοηθώντας τα κανάλια να χρησιμοποιήσουν σλόγκαν, σύμβολα και γλώσσα που πήγαζε από εκτεταμένη έρευνα με ΑΜΕΑ και πρωταθλητές, ούτως ώστε να αποφεύγει τα στερεότυπα
• μείωσαν τον αντίκτυπο των αυτοκτονιών μέσα από προγράμματα ενημέρωσης και εκπαίδευσης δημοσιογράφων για την πιο υπεύθυνη κάλυψη ειδήσεων που αφορούν σε περιστατικά αυτοκτονίας
• ενίσχυσαν τις δομές αντιμετώπισης κρίσεων και φυσικών καταστροφών στο Νεπάλ, μέσα από προγράμματα επιμόρφωσης δημοσιογράφων
• άλλαξαν το διαφημιστικό τοπίο στο μετρό του Λονδίνου, κάνοντας τις αφίσες πιο φιλικές προς τους χρήστες
• ανέδειξαν τις καταστροφικές συνέπειες της χρήσης δακρυγόνων, υποστηρίζοντας τη δράση ΜΚΟ και βοηθώντας στη δημιουργία σχετικών οδηγιών και πολιτικών διεθνώς

Το ΓΠ34 του πανεπιστημίου μου είναι το μεγαλύτερο στη Βρετανία με 74 μέλη ΔΕΠ. Αν και σε απόλυτους αριθμούς αξιολογήσεων το London School of Economics είχε τον υψηλότερο μέσο όρο στη χώρα (έλαβε δηλαδή τα καλύτερα σκορ), η ομάδα που συμμετείχε ήταν πολύ μικρότερη. Δεδομένου ότι τα πανεπιστήμια υποχρεούνται πλέον να καταθέτουν την έρευνα όλων σχεδών των μελών ΔΕΠ, ένας πιο ακριβής και δίκαιος δείκτης που χρησιμοποιείται ολοένα και περισσότερο, είναι η λεγόμενη «ερευνητική ισχύς»: ο μέσος όρος αξιολόγησης πολλαπλασιασμένος επί τον αριθμό μελών ΔΕΠ ενός πανεπιστημίου στο εκάστοτε πεδίο, ούτως ώστε η αξιολόγηση να λαμβάνει υπόψη την ποιότητα της έρευνας σε συνάρτηση με το μέγεθος της ομάδας και τη συμπεριληπτικότητά της.

Σε αυτόν τον δείκτη, της ερευνητικής ισχύος, η ομάδα μου, το ΓΠ34 του Πανεπιστημίου του Μπόρνμουθ –ενός ιδρύματος που έγινε πανεπιστήμιο μόλις το 1992 και στράφηκε στην έρευνα μόλις στα μέσα της δεκαετίας του 2000– κατετάγη πρώτη σε όλη τη Βρετανία.