نتایج خیره کننده هوش مصنوعی ChatGPT در آزمون مجوز پزشکی

به گزارش سرویس وبگردی خبرگزاری صدا و سیما ، ChatGPT یک سیستم هوش مصنوعی (AI) جدید است که به عنوان یک مدل زبان بزرگ (LLM) شناخته می‌شود، که برای تولید نوشتاری شبیه انسان با پیش‌بینی توالی کلمات آینده طراحی شده است. برخلاف اکثر ربات‌های چت، ChatGPT نمی‌تواند در اینترنت جستجو کند. در عوض، متن را با استفاده از روابط کلمه ها که با کمک فرآیند‌های داخلی آن  پیش بینی شده،  تولید می‌کند.

کونگ و همکارانش عملکرد ChatGPT را در USMLE آزمایش کردند، مجموعه‌ای بسیار استاندارد و تنظیم شده از سه امتحان (مرحله ۱، ۲CK، و ۳) که برای صدور مجوز پزشکی در ایالات متحده لازم است. USMLE که توسط دانشجویان پزشکی و پزشکان در حال آموزش انجام می‌شود، دانشی را که بیشتر رشته‌های پزشکی را شامل می‌شود، از بیوشیمی گرفته تا استدلال تشخیصی و اخلاق زیستی ارزیابی می‌کند.

پس از غربالگری برای حذف سوالات مبتنی بر تصویر، نویسندگان نرم افزار را روی ۳۵۰ سوال از ۳۷۶ سوال عمومی موجود از نسخه USMLE ژوئن ۲۰۲۲ آزمایش کردند.

پس از حذف پاسخ‌های نامشخص، ChatGPT بین ۵۲.۴% و ۷۵.۰% در سه آزمون USMLE امتیاز کسب کرد. آستانه عبور در هر سال تقریباً ۶۰ ٪ است. ChatGPT همچنین ۹۴.۶ ٪ تطابق را در تمام پاسخ‌های خود نشان داد و حداقل یک بینش مهم (چیزی که جدید، غیر آشکار و از نظر بالینی معتبر بود) برای ۸۸.۹ ٪ از پاسخ‌های خود ایجاد کرد. شایان ذکر است که ChatGPT از عملکرد PubMedGPT فراتر رفته است، یک مدل مشابه که منحصراً بر روی ادبیات حوزه زیست پزشکی آموزش داده شده است، که در مجموعه داده‌های قدیمی‌تری از سؤالات سبک USMLE امتیاز ۵۰.۸ را کسب کرده است.

در حالی که اندازه ورودی نسبتاً کوچک عمق و دامنه تجزیه و تحلیل‌ها را محدود می‌کند، نویسندگان خاطرنشان می‌کنند که یافته‌های آنها نگاهی اجمالی به پتانسیل ChatGPT برای افزایش آموزش پزشکی و در نهایت، عملکرد بالینی ارائه می‌دهد. به عنوان مثال، آنها می‌افزایند که پزشکان در AnsibleHealth از ChatGPT برای بازنویسی گزارش‌های سنگین برای درک راحت‌تر بیمار استفاده می‌کنند.

نویسندگان می‌گویند: «دستیابی به نمره قبولی برای این آزمون تخصصی دشوار، و انجام این کار بدون هیچ گونه تقویت انسانی، نقطه عطف قابل توجهی در بلوغ هوش مصنوعی بالینی است.»

نویسنده دکتر تیفانی کونگ اضافه کرد که نقش ChatGPT در این تحقیق فراتر از موضوع مطالعه است: ChatGPT کمک قابل توجهی به نوشتن دست‌نوشته [ما]کرد… ما با ChatGPT بسیار شبیه به یک همکار تعامل داشتیم و از آن می‌خواستیم ترکیب، ساده‌سازی و ارائه دهد. نقطه مقابل پیش نویس‌های در حال انجام… همه نویسندگان همکار به ورودی ChatGPT اهمیت می‌دهند.

منبع: scitechdaily