Μια ομάδα ερευνητών από τους τομείς της ιατρικής και της τεχνητής νοημοσύνης, οι οποίοι συνεργάζονται με διάφορα ιδρύματα στο Ηνωμένο Βασίλειο και τις ΗΠΑ, εξέτασαν την ακρίβεια των ιατρικών πληροφοριών και συμβουλών που παρέχονται από τους LLMs στους χρήστες.
Στην εργασία τους που δημοσιεύτηκε στον διακομιστή arXiv, η ομάδα περιγράφει πώς ζήτησε από 1.298 εθελοντές να αναζητήσουν ιατρικές συμβουλές από chatbots. Στη συνέχεια, σύγκριναν τα αποτελέσματα με συμβουλές από άλλες διαδικτυακές πηγές ή με την κοινή λογική.
Η επίσκεψη σε ένα γιατρό μπορεί να είναι χρονοβόρα, αγχωτική και μερικές φορές να κοστίσει αρκετά χρήματα. Εξαιτίας αυτού, οι άνθρωποι σε πολλά μέρη έχουν αρχίσει να αναζητούν συμβουλές στα chatbots, όπως το ChatGPT.
Στο πλαίσιο αυτής της νέας τάσης που τείνει να δημιουργηθεί, οι ερευνητές ήθελαν να μάθουν πόσο καλές μπορεί να είναι αυτές οι συμβουλές. Προηγούμενη έρευνα έχει δείξει ότι οι εφαρμογές τεχνητής νοημοσύνης μπορούν να επιτύχουν σχεδόν τέλειες βαθμολογίες σε ιατρικά τεστ και επίσης να έχουν πολύ καλή απόδοση σε άλλα ιατρικά κριτήρια.
Αλλά μέχρι σήμερα, δεν ακόμη διαπιστωθεί με ακρίβεια πόσο καλά αυτές οι ικανότητες μεταφράζονται στον τομέα της ιατρικής. Προηγούμενη έρευνα έχει επίσης δείξει ότι οι γιατροί χρειάζονται πολλή εμπειρία για να κάνουν τους ασθενείς τους να προχωρήσουν σε καλύτερες ερωτήσεις ή/και να παρέχουν καλύτερες απαντήσεις στα ερωτήματά τους.
Για να ελέγξει την ακρίβεια των ιατρικών συμβουλών που δίνουν οι LLMs, η ομάδα σύγκρινε τις συμβουλές τους με άλλες πηγές. Ζήτησαν από 1.298 τυχαία επιλεγμένους εθελοντές να χρησιμοποιήσουν ένα chatbot τεχνητής νοημοσύνης (όπως Command R+, Llama 3 ή GPT-4o) ή να χρησιμοποιήσουν άλλες πηγές, τις οποίες θα συμβουλεύονταν στο σπίτι για μία ιατρική κατάσταση.
Στη συνέχεια, οι ερευνητές σύγκριναν την ακρίβεια των συμβουλών που τους δόθηκαν από τα chatbots με αυτήν που διαπίστωσε η ομάδα ελέγχου. Όλες οι συνομιλίες μεταξύ των εθελοντών και των chatbots καταγράφηκαν και στάλθηκαν στην ερευνητική ομάδα για αξιολόγηση.
Οι ερευνητές διαπίστωσαν ότι οι εθελοντές συχνά παρέλειπαν σχετικές πληροφορίες κατά τη διάρκεια των ερωτημάτων τους, καθιστώντας πιο δύσκολο για το chatbot να κατανοήσει πλήρως την πάθηση. Το αποτέλεσμα, σύμφωνα με την ομάδα, ήταν πολλές αμφίδρομες διακοπές επικοινωνίας.
Κατά τη σύγκριση πιθανών αιτιών μιας πάθησης και επιλογών θεραπείας που προτάθηκαν από τα chatbots με άλλες πηγές, οι ερευνητές διαπίστωσαν ότι οι συμβουλές που δόθηκαν από τα chatbots ήταν παρόμοιες σε ορισμένες περιπτώσεις και χειρότερες σε άλλες.
Σπάνια βρέθηκαν περιπτώσεις κατά τις οποίες οι LLMs προσέφεραν καλύτερες συμβουλές. Βρήκαν επίσης πολλά παραδείγματα όπου η χρήση ενός chatbot έκανε τους εθελοντές λιγότερο πιθανό να εντοπίσουν σωστά την πάθησή τους και να υποτιμήσουν τη σοβαρότητα του προβλήματός τους. Με βάση τα παραπάνω, οι ερευνητές προτείνουν στους ανθρώπους να χρησιμοποιούν μια πιο αξιόπιστη πηγή πληροφοριών όταν αναζητούν ιατρική συμβουλή.
