Evaluating the Performance of ChatGPT in Ophthalmology
Hôpital Maisonneuve-Rosemont · Centre Hospitalier de l’Université de Montréal · +3 more institutions
Abstract
PurposeFoundation models are a novel type of artificial intelligence algorithms, in which models are pretrained at scale on unannotated data and fine-tuned for a myriad of downstream tasks, such as generating text. This study assessed the accuracy of ChatGPT, a large language model (LLM), in the ophthalmology question-answering space.DesignEvaluation of diagnostic test or technology.ParticipantsChatGPT is a publicly available LLM.MethodsWe tested 2 versions of ChatGPT (January 9 “legacy” and ChatGPT Plus) on 2 popular multiple choice question banks commonly used to prepare for the high-stakes Ophthalmic Knowledge Assessment Program (OKAP) examination. We generated two 260-question simulated exams from the…
Citation impact
- FWCI
- 17.66
- Percentile
- 100%
- References
- 29
Authors
5- FAFares Antaki
Hôpital Maisonneuve-Rosemont, Centre Hospitalier de l’Université de Montréal, Centre Intégré Universitaire de Santé et de Services Sociaux du Centre-Sud-de-l'Île-de-Montréal, Centre intégré universitaire de santé et de services sociaux de l'Est-de-l'Île-de-Montréal, Université de Montréal
- STSamir Touma
Hôpital Maisonneuve-Rosemont, Centre Hospitalier de l’Université de Montréal, Centre Intégré Universitaire de Santé et de Services Sociaux du Centre-Sud-de-l'Île-de-Montréal, Centre intégré universitaire de santé et de services sociaux de l'Est-de-l'Île-de-Montréal, Université de Montréal
- DMDaniel Milad
Hôpital Maisonneuve-Rosemont, Centre Hospitalier de l’Université de Montréal, Centre Intégré Universitaire de Santé et de Services Sociaux du Centre-Sud-de-l'Île-de-Montréal, Centre intégré universitaire de santé et de services sociaux de l'Est-de-l'Île-de-Montréal, Université de Montréal
- JEJonathan El‐Khoury
Hôpital Maisonneuve-Rosemont, Centre Hospitalier de l’Université de Montréal, Centre Intégré Universitaire de Santé et de Services Sociaux du Centre-Sud-de-l'Île-de-Montréal, Centre intégré universitaire de santé et de services sociaux de l'Est-de-l'Île-de-Montréal, Université de Montréal
- RDRenaud DuvalCorresponding
Hôpital Maisonneuve-Rosemont, Centre Intégré Universitaire de Santé et de Services Sociaux du Centre-Sud-de-l'Île-de-Montréal, Centre intégré universitaire de santé et de services sociaux de l'Est-de-l'Île-de-Montréal, Université de Montréal
Topics & keywords
- Logistic regression
- Test (biology)
- Set (abstract data type)
- Computer science
- Post hoc
- Artificial intelligence
- Index (typography)
- Regression
- Quality Education