یک تحقیقی، کیفیت ترجمههای ادبی هوش مصنوعی را در مقایسه با ترجمههای انسانی ارزیابی کرد.
به گزارش سرویس وبگردی خبرگزاری صدا و سیما ، پیشرفتهای اخیر در زمینه یادگیری ماشینی (ML) کیفیت ابزارهای ترجمه خودکار را تا حد زیادی بهبود بخشیده است.
در حال حاضر ابزار کنونی اغلب برای ترجمه جملات اساسی و همچنین متون کوتاه یا اسناد غیر رسمی استفاده میشود. متون ادبی مانند رمان یا داستان کوتاه هنوز به طور کامل توسط مترجمان انسانی متخصص ترجمه میشود که در درک معانی انتزاعی و پیچیده و ترجمه آن به زبانی دیگر مجرب هستند. در حالی که چند تحقیق توانایی مدلهای محاسباتی را برای ترجمه متون ادبی بررسی کردهاند، اما یافتهها در این زمینه هنوز محدود است.
محققان دانشگاه ماساچوست امهرست آمریکا به تازگی مطالعهای انجام دادهاند که کیفیت ترجمههای متون ادبی تولید شده توسط ماشینها را با مقایسه آنها با ترجمههای متنی مشابه ایجاد شده توسط انسان بررسی و برخی از کاستیهای مدلهای محاسباتی موجود برای ترجمه متون خارجی به انگلیسی را برجسته کرد.
کاترین تای و همکارانش، از پژوهشگران این تحقیق، گفتند: ترجمه ماشینی (MT) دارای ظرفیت تکمیل کار مترجمان انسانی با بهبود روشهای آموزشی و کارایی کلی آنهاست. ترجمه ادبی نسبت به تنظیمات سنتی ترجمه ماشینی محدودیت کمتری دارد، زیرا مترجمان باید معادلسازی معنا، خوانایی و تفسیرپذیری انتقادی را در زبان مقصد متعادل کنند. این ویژگی همراه با زمینه پیچیده در سطح گفتمان موجود در متون ادبی، ترجمه ماشینی ادبی را برای مدلسازی و ارزیابی محاسباتی نیز چالش برانگیزتر میکند.
هدف اصلی کار اخیر تای و همکارانش درک بهتر روشهایی بود که ابزارهای پیشرفته ترجمه ماشینی در مقایسه با ترجمههای انسانی هنوز در ترجمه متون ادبی شکست میخورند. امید آنان این بود که این کار به شناسایی زمینههای خاصی که توسعهدهندگان باید روی بهبود عملکرد این مدلها تمرکز کنند، کمک کند.
تای و همکارانش توضیح دادند: ما یک مجموعه داده (PAR ۳) از رمانهای غیرانگلیسی زبان را در حوزه عمومی جمعآوری میکنیم که هر کدام در سطح پاراگراف با ترجمههای انسانی و خودکار انگلیسی تراز شدهاند.
مجموعه داده جدیدی که توسط محققان برای دامنه تحقیق خود گردآوری شده است، شامل ۱۲۱ هزار پاراگراف استخراج شده از ۱۱۸ رمان است که در اصل به زبانهای مختلف به جز انگلیسی نوشته شدهاند. برای هر یک از این پاراگرافها مجموعه داده شامل چندین ترجمه انسانی مختلف همچنین ترجمهای است که توسط ترجمه گوگل (Google translate) تولید شد.
محققان با استفاده از معیارهای رایج برای ارزیابی ابزارهای ترجمه ماشینی، کیفیت ترجمههای انسانی این پاراگرافهای ادبی را با ترجمههای مترجم گوگل مقایسه کردند. همزمان آنان از مترجمان انسانی متخصص پرسیدند که کدام ترجمهها را ترجیح میدهند؛ در حالی که آنان را ترغیب کردند تا مواردی را با کمترین ترجیح ترجمه خود شناسایی کنند.
تای و همکارانش اظهار کردند: با استفاده از مجموعه داده (PAR ۳) متوجه شدیم که مترجمان ادبی خبره ترجمههای انسانی مرجع را به پاراگرافهای ترجمه شده ماشینی به میزان ۸۴ درصد ترجیح میدهند؛ در حالی که معیارهای پیشرفته ترجمه ماشینی خودکار با این اولویتها مرتبط نیست. کارشناسان خاطرنشان میکنند خروجیهای ترجمه ماشینی نه تنها حاوی ترجمههای نادرست بلکه خطاهای مخل گفتمان و تناقضات سبکی است.
به طور کلی یافتههای جمعآوری شده توسط تای و همکارانش نشان میدهد معیارهای ارزیابی ترجمه ماشینی (به عنوان مثال BLEU، BLEURT و BLONDE) ممکن است موثر نباشد، زیرا مترجمان انسانی با پیشبینیهای آنها موافق نبودند.
قابل توجه این است بازخوردی که آنان از مترجمان انسانی جمعآوری کردند، به محققان این امکان را داد که موارد خاصی را با ترجمههای ایجاد شده توسط ترجمه گوگل شناسایی کنند.
این گروه تحقیقاتی با استفاده از بازخورد متخصصان انسانی به عنوان یک راهنما در نهایت یک مدل خودکار پس از ویرایش بر اساس GPT-۳، یک رویکرد یادگیری عمیق که توسط یک گروه تحقیقاتی در شرکت هوش مصنوعی OpenAI معرفی شد، ایجاد کنند. آنان دریافتند که مترجمان انسانی متخصص ترجمههای ادبی تولید شده توسط این مدل را به میزان ۶۹ درصد ترجیح میدهند.
در آینده یافتههای این تحقیق میتواند به تحقیقات جدید در مورد استفاده از ابزار ترجمه ماشینی برای ترجمه متون ادبی کمک کند.
علاوه بر این مجموعه داده PAR ۳ که توسط تای و همکارانش گردآوری شده، میتواند توسط گروههای دیگر برای آموزش یا ارزیابی مدلهای زبان خود استفاده شود.
محققان نتیجه گرفتند: به طور کلی کار ما چالشهای جدیدی را برای پیشرفت در ترجمه ماشینی ادبی آشکار میکند و ما امیدواریم که انتشار عمومی مجموعه داده PAR ۳ محققان را تشویق کند تا با آنها مقابله کنند.
یافتههای این تحقیق در مجله arXiv منتشر شده است.