Άστρα και νεοφιλελεύθερο όραμα
του Έκτορα Ξαβιέ-Δελαστίκ
Είστε σίγουροι πως είναι καλή ιδέα να υποτιμάτε ταυτόχρονα χιλιάδες ανθρώπους οι οποίοι εργάζονται στην έρευνα με λέιζερ, εκρηκτικά, μολυσματικές ασθένειες, συστήματα εντοπισμού, ανάλυση τεράστιων όγκων δεδομένων κ.ο.κ.; Σήμερα θα μιλήσουμε για το πρόγραμμα «Εμπιστοσύνη στα Αστέρια μας – Trust Your Stars (SUB 4)» και τη νεοφιλελεύθερη έννοια της «αριστείας». Και μια δυνητική απάτη εκατομμυρίων με τις χρηματοδοτήσεις ερευνητικών προγραμμάτων.
Αναφερόμαστε στο έργο «Εμπιστοσύνη στα αστέρια μας – Trust your stars», στο οποίο ερευνητικές ομάδες από όλη την Ελλάδα υπέβαλαν προτάσεις από τις 24/04/2024 έως τις 10/06/2024. Χρηματοδοτούμενο από την Ευρωπαϊκή Ένωση, ξεκίνησε με το συνολικό προϋπολογισμό να ανέρχεται σε 80,6 εκατομμύρια ευρώ, με τα 72 εκατ. εξ’ αυτών να προέρχονται από το Ταμείο Ανάκαμψης.
Η διαδικασία για ένα ερευνητικό πρόγραμμα είναι μέσες-άκρες η εξής:
- Ένας (ή και περισσότεροι φορείς) ανακοινώνουν πως θα χρηματοδοτήσουν έρευνες, ανακοινώνουν το συνολικό προϋπολογισμό και τα κριτήρια με τα οποία θα αξιολογήσουν τις προτάσεις.
- Ερευνητικές ομάδες προετοιμάζουν από μία μεγάλη πρόταση-έκθεση για το τί θέλουν να ερευνήσουν, με ποια μεθοδολογία, με τί βραχυπρόθεσμους και μακροπρόθεσμους στόχους, με ποιο προσωπικό, τα ακριβή έξοδα που περιμένουν να έχουν, από μισθούς και δημοσιεύσεις έως συναντήσεις και υλικά, τις διοικητικές λεπτομέρειες κ.ο.κ.
- Υποβάλλονται με κάποια διαδικασία οι προτάσεις και κρίνονται από μια επιτροπή αξιολόγησης. Η επιτροπή βαθμολογεί με πολύ συγκεκριμένο τρόπο (ο οποίος έχει ανακοινωθεί στο βήμα 1) κάθε κομμάτι της κάθε πρότασης.
- Οι προτάσεις μπαίνουν σε σειρά συνολικής βαθμολογίας, από την υψηλότερη στη χαμηλότερη.
- Οι προτάσεις στην κορυφή της λίστας αρχίζουν εγκρίνονται. Συνεχίζονται οι εγκρίσεις μέχρι να τελειώσει το budget που ανακοινώθηκε στο βήμα 1. Όλες οι προτάσεις από εκεί και κάτω στη λίστα λαμβάνουν απορρίψεις.
- Κάθε πρόταση λαμβάνει μια αναλυτική απάντηση με περίληψη της κρίσης («το Χ ήταν δυνατό σημείο της πρότασής σας, το Ψ δεν ήταν επαρκές σε σχέση με τους στόχους που ζητάμε, το Ω δεν κατάφερε να πείσει τους κριτές»), μαζί με τη βαθμολογία.
Αυτό που πρέπει να κρατήσουμε είναι πως η κάθε ερευνητική ομάδα με αρνητική απάντηση πρέπει να έχει στο τέλος μια έκθεση που να εξηγεί τα επιχειρήματα με τα οποία η επιτροπή βαθμολόγησε όπως βαθμολόγησε.
Ναι, είναι αυτό που φαντάζεστε.
Το μέρος του κοινού μας που σκεφτόταν πως αυτή η ιστορία θα καταλήξει στο A.I. μπορεί να απολαύσει ελεύθερα την επιτυχία του.
Παγωμάρα και σάστισμα ένιωσε κάθε ομάδα που διάβασε την απορριπτική της απάντηση. Σε καμία περίπτωση από την ίδια την απόρριψη -συνηθίζει κανείς γρήγορα σε αυτόν τον κλάδο. Το αναπάντεχο ήταν πως οι εκθέσεις που αιτιολογούσαν τη βαθμολογία (και την απόρριψη της αίτησης) φαίνονταν… να είναι γραμμένες από A.I. (Γλωσσικά Μοντέλα)!
Το πρώτο εμφανές στοιχείο είναι η ίδια η δομή τους. Ξεκινούν με μερικές «λέξεις-κλειδιά» από την εισαγωγή της πρότασης στην οποία απαντάνε, διάσπαρτες στο κείμενο. Το ίδιο το κείμενο της απάντησης είναι απολύτως γενικόλογο συνονθύλευμα λέξεων, οι οποίες είναι εμφανές πως νιώθουν άβολα να βρίσκονται όλες μαζί στην ίδια παράγραφο. Ως περιεχόμενο, τα επιχειρήματα για τη χαμηλή βαθμολογία είναι περίπου τα ίδια σε όλες τις εκθέσεις που πέρασαν από τα χέρια του info-war, ενώ ποτέ δεν είχαν σχέση με την ίδια την πρόταση στην οποία απαντούσαν. Με άλλα λόγια, ό,τι και να περιείχε η πρόταση, η απάντηση ήταν το ίδιο περίπου λογύδριο, ενώ η μία απάντηση από την άλλη ξεχώριζαν κατά κύριο λόγο από σκόρπιες λέξεις που έδειχναν πως όποιος (ή μάλλον ό,τι) έγραψε την απάντηση, δε… διάβασε πέρα από την εισαγωγή.
Οι σοβαρότατες ευθύνες που προκύπτουν
Όπως υπογραμμίσαμε στην αρχή του άρθρου, οι εκθέσεις αυτές δεν είναι για τα μάτια του κόσμου. Υποτίθεται πως γράφονται παράλληλα με τη βαθμολόγηση και αποτελούν τεκμήριο της διαδικασίας που ακολουθήθηκε. Σε κάποιες περιπτώσεις μπορούν να αποτελέσουν το υλικό για προσφυγή ενάντια στη διαδικασία βαθμολόγησης μιας πρότασης. Σε κάθε περίπτωση, πρέπει να δείχνουν στην ερευνητική ομάδα και τις ελεγκτικές αρχές τον τρόπο με τον οποίο αποφασίστηκε ποιες προτάσεις ταιριάζουν στο έργο και ταυτόχρονα είναι αρκετά καλές ώστε να χρηματοδοτηθούν.
Με τέτοιες προκάτ απαντήσεις, τίθεται όλη η διαδικασία υπό αμφισβήτηση. Οι ερευνητικές ομάδες γνωρίζουν πως το σκεπτικό αποδοχής ή απόρριψης δεν έχει καμία σχέση ούτε με την επιτροπή αξιολόγησης, ούτε με τις προτάσεις που κατέθεσαν. Αυτό όμως σημαίνει πως δεν υπάρχει εξωτερική εγγύηση πως η ίδια η βαθμολογία έχει κάποια σχέση με την πραγματικότητα και δεν είναι απλά νούμερα που μπήκαν με (να το πούμε ευγενικά) αδιαφανή και αστήρικτο τρόπο.
Φυσικά, αυτά σημαίνουν πως αφήνεται έκθετος νομικά ολόκληρος ο μηχανισμός του συγκεκριμένου έργου για την πιθανότητα διασπάθισης του προϋπολογισμού, υπό την έννοια της κατεύθυνσής του σε ημέτερους, παρά με αξιοκρατικά κριτήρια. Το να μιλήσει κανείς όμως για πιθανότητα «ερευνητικού ΟΠΕΚΕΠΕ» δεν κάτι που γίνεται ελαφρά τη καρδία.
Βγάζοντας λαγό από το καπέλο
Ένα πρώτο, ποιοτικό κριτήριο που μπορεί πολύ εύκολα να επιβεβαιωθεί αφορά τα ίδια τα επιχειρήματα των απαντήσεων. Μπορεί κανείς πολύ εύκολα να επιβεβαιώσει πως τα κριτήρια της βαθμολόγησης είναι περιληπτικά:
- Σκοπιμότητα και Επικαιρότητα ερευνητικού ερωτήματος
- Συνεισφορά του ερευνητικού ερωτήματος στον κλάδο της επιστήμης που αφορά ή/και πρακτική εφαρμογή σε σχετιζόμενο κλάδο ή βιομηχανία.
- Εφικτό της προτεινόμενης ερευνητικής πρότασης
- Επάρκεια ερευνητικής ομάδας
Όμως αρκετές απορρίψεις που εξετάσαμε έχουν επιχειρήματα όπως «απουσιάζει συγκεκριμένο και δομημένο πλάνο αξιοποίησης ή διάχυσης των αποτελεσμάτων (business/exploitation plan)». Κατ’ αρχάς, κάτι τέτοιο δεν είναι καν κριτήριο όσον αφορά την πρόσκληση αυτή. Ακόμα και αν κάποιος επικαλεστεί το σημείο 2 παραπάνω, η αναλυτική περιγραφή του στο σχετικό παράρτημα είναι «Θα αξιολογηθεί ο βαθμός συνεισφοράς της ερευνητικής πρότασης στην τρέχουσα ερευνητική επικαιρότητα του σχετικού επιστημονικού πεδίου βάσει των αναμενομένων αποτελεσμάτων».
Πώς γίνεται λοιπόν να απορρίπτονται προτάσεις με βάση… ανύπαρκτο κριτήριο; Αυτό απαντιέται αμέσως από τη στιγμή που δεχθούμε πως οι απαντήσεις έχουν γραφτεί με κάποιο Γλωσσικό Μοντέλο (A.I.). Άτομα με εμπειρία στη συγγραφή προτάσεων για ερευνητικό έργο αναγνωρίζουν αμέσως τις φράσεις και τα επιχειρήματα αυτά. Προέρχονται από το χώρο των επιχειρηματικών και βιομηχανικών ερευνητικών προγραμμάτων (π.χ. «Ερευνώ-Καινοτομώ», βιομηχανικά consortia κ.α.), τα οποία βάζουν σε πρώτη προτεραιότητα την άμεση εφαρμογή της έρευνας στη βιομηχανική παραγωγή και το εμπόριο.
Αυτή ακριβώς είναι όμως η συμπεριφορά που θα περιμέναμε αν εκπαιδεύαμε ένα γλωσσικό μοντέλο για να γράφει αυτόματα απορρίψεις. Ο μεγάλος όγκος του υλικού που θα κατανάλωνε για την εκπαίδευσή του είναι έγγραφα για επιχειρηματικά και βιομηχανικά ερευνητικά προγράμματα. Το αποτέλεσμα είναι να αναμασά λέξεις και φράσεις από αυτόν το χώρο, ασχέτως του ότι δεν έχουν καμία επαφή με το «Εμπιστοσύνη στα αστέρια μας – Trust your stars» που συζητάμε. Η επίπτωση είναι πως προτάσεις κρίνονται φαινομενικά με κριτήρια που δεν ισχύουν.
Φυσικά δε μπορούμε ακόμα να αποκλείσουμε την πιθανότητα η επιτροπή αξιολόγησης να αποφάσισε να αλλάξει με δική της πρωτοβουλία τα κριτήρια, να αξιολόγησε κατά το δοκούν, να αποφάσισε να μη διαβάσει πάνω από 200 λέξεις από τις ερευνητικές προτάσεις που αξιολόγησε και να έχει συλλογικά ένα εξαιρετικά κακό και άβολο συντακτικό όταν γράφει.
Είναι η δεύτερη πιο κολακευτική υπόθεση που μπορούμε να κάνουμε και να ταιριάζει με την πραγματικότητα.
Γίνονται τέτοια πράγματα;
Γι αυτό και πάμε στην πιο κολακευτική υπόθεση: ότι δεν έγινε πραγματική αξιολόγηση και οι απαντήσεις γράφτηκαν όντως από Γλωσσικό Μοντέλο εκπαιδευμένο πάνω σε υλικό ερευνητικών προτάσεων.
Τα Γλωσσικά Μοντέλα (όπως π.χ. το ChatGPT) αυτό που κάνουν είναι να φτιάχνουν μια «αλυσίδα λέξεων». Παίρνουν όλες τις λέξεις (ερωτήσεις και απαντήσεις) που έχουν προηγηθεί στη συζήτηση μαζί τους και υπολογίζουν την πιθανότερη μία λέξη που θα μπορούσε να ακολουθήσει. Την προσθέτουν στην αλυσίδα και επαναλαμβάνουν τη διαδικασία. Με άλλα λόγια, στη μέση της πρότασης δεν έχουν καμία απολύτως γνώση του προς τα πού θα πάει η υπόλοιπη μισή πρόταση.
Αυτό σημαίνει πως τείνουν να έχουν πολύ αναγνωρίσιμα μοτίβα στο πώς διαλέγουν λέξεις και τί συντακτικό ακολουθούν. Πράγμα που με τη σειρά του σημαίνει πως υπάρχουν και αρκετά ερευνητικά εργαλεία με τα οποία μπορεί να μετρηθεί το πόσο πιθανό είναι ένα κείμενο να είναι γραμμένο από γλωσσικό μοντέλο, ώστε να μη μιλάμε διαισθητικά.
Τα ελληνικά είναι μεν μικρή σε μέγεθος γλώσσα, οπότε και οι «ανιχνευτές A.I.» που τα υποστηρίζουν είναι λίγοι. Παρ’ όλα αυτά, με τέσσερα διαφορετικά συστήματα (copyleaks, undetectable.ai, isgen.ai, scispace) συμπεραίνουμε πως οι απαντήσεις που έχουμε στα χέρια μας αποτελούνται από 80% έως 100% από προτάσεις που φέρουν την «υπογραφή» A.I., παρά ανθρώπινο χέρι. Φυσικά επιβεβαιώσαμε πως ξαναγράφοντας οποιαδήποτε πρόταση του κειμένου με το χέρι, τα αποτελέσματα των εργαλείων ανταποκρίνονταν στην… ξαφνική ανθρώπινη παρουσία.
Κατακλείδα
Συνοπτικά, έχουμε μια υπόθεση διαχείρισης εκατομμυρίων στην οποία το τεκμήριο της αιτιολόγησης για το ποια ομάδα χρηματοδοτείται και ποια όχι έχει γραφτεί από Γλωσσικό Μοντέλο. Από μόνο του αυτό εγείρει σοβαρά ερωτήματα για τη νομιμότητα της όλης διαδικασίας, αφήνοντας στον αέρα τη βαθμολόγηση των προτάσεων.
Ακόμα περισσότερο, οι απαντήσεις είναι σχεδόν πανομοιότυπες για πολύ διαφορετικά μεταξύ τους προγράμματα. Τέτοιες απαντήσεις-καρμπόν δημιουργούν το ίδιο νομικό κενό, ακόμα και αν το Υπουργείο Παιδείας αρνηθεί από θέση αρχής την πιθανότητα που αναφέραμε.
Συνεχίζοντας, το γεγονός ότι γίνεται αναφορά στην έλλειψη «business plan» ως σημαντικού «μείον» στη βαθμολόγηση δείχνει πως αυτή έγινε με κριτήρια τελείως διαφορετικά από αυτά που είχαν ανακοινωθεί. Το ότι αυτά τα κριτήρια αφορούν βιομηχανικά/εμπορικά ερευνητικά έργα λέει από μόνο του πολλά.
Σε κάθε περίπτωση η ηγεσία του Υπουργείου Παιδείας φέρει ακέραια την ευθύνη για το γεγονός, καθώς οι διαδικασίες αυτές εποπτεύονται, πολλώ δε μάλλον όταν αναφερόμαστε σε κονδύλια από το Ταμείο Ανάκαμψης. Σε κάθε περίπτωση επίσης, η υπόθεση αυτή αποτελεί μνημείο του πώς οι νεοφιλελεύθεροι αντιλαμβάνονται την έννοια της «αριστείας». Αριστεία ποτέ όσον αφορά τις ικανότητες και την αξιοκρατία, αλλά αριστεία με την έννοια της αριστοκρατίας.
Υ.Γ.: Ο γράφων δε συμμετείχε στο «Εμπιστοσύνη στα Αστέρια μας», ούτε ως συγγραφέας πρότασης ούτε ως μέλος ερευνητικής ομάδας ή πρότασης.
Δεν υπάρχουν σχόλια:
Δημοσίευση σχολίου