ترجمه زبان اشاره به صدا به کمک یک حسگر

به گزارش خبرگزاری صدا و سیما ، لیانگتی کو، پروفسور دپارتمان شیمی و دپارتمان مهندسی مکانیک در دانشگاه سینگ‌هوا گفت : «ما از پوست انسان الهام گرفته‌ایم که می‌تواند به طور فعال تغییرات محرک‌های محیط از جمله دما، رطوبت، فشار و نور را به طور همزمان حس کند. این فرآیند به هیچ منبع تغذیه خارجی نیاز ندارد، آن را با حسگر‌های مصنوعی موجود در حال حاضر بسیار متفاوت می‌کند.»

این حسگر از اکسید گرافن ساخته شده است، ماده‌ای که ویژگی‌های الکترونیکی قابل تنظیم و ساختار تنظیم شده ، آن را برای کاربرد‌های دستگاه‌های هوشمند ایده‌آل می‌کند.

انرژی این حسگر از طریق یک ژنراتور الکتریکی مرطوب به‌نام MEG تامین می‌شود که حاوی غشایی است که به‌طور خود به خود آب را از هوا جذب می‌کند. هنگامی‌که آب به سطح می‌چسبد، منجر به غلظت بالاتر یون‌های هیدروژن در بالای غشا و اختلاف پتانسیل بین دو الکترود آن می‌شود.

«لیانگتی کو» افزود : مانند تولید پتانسیل بیوالکتریکی خود به خود در پوست انسان، این حسگر پس از جذب آب در هوا، جداسازی بار مثبت و منفی، پتانسیل ایجاد می‌کند، وقتی دستگاه توسط رطوبت، دما، فشار و نور محیط تحریک می‌شود، بار‌های الکتریکی تولید می‌کند که باعث ایجاد تغییرات بالقوه می‌شود و سیگنال‌های پاسخ متمایزی را به این محرک‌ها تولید می‌کند.»

این فرآیند توسط یک ماژول یادگیری ماشینی یاری می‌شود. این ماژل به این ابزار کمک می‌کند تا چندین پاسخ خارجی را در یک سیگنال واحد ترکیب کند که سپس دستگاه می‌تواند یاد بگیرد، ذخیره کند و تفسیر کند.

در این مطالعه، کو و همکارانش « هوهو چنگ » و « سی یانگ » ، حسگر را به مچ دست یک داوطلب وصل  و آموزش الگوریتم یادگیری ماشینی مرتبط با حسگر برای خواندن و ترجمه حرکات مختلف انگشت و دست و مرتبط کردن آن‌ها با کلمات و عبارات مختلف، را شروع کردند.

چنگ می گوید : «حرکات مختلف انگشتان و ژست‌های دست، توالی‌های محرک فشار منحصربه‌فردی را ایجاد می‌کنند که می‌توان آن‌ها را از طریق بلوتوث در ایستگاه کاری جمع‌آوری کرد.

مدل یادگیری ماشین قادر است ویژگی‌هایی را از توالی سیگنال پاسخ پتانسیل الکتریکی مرطوب استخراج کند و تغییر در هر محرک را در هر مرحله زمانی بر اساس خروجی شبکه LSTM برای آن مرحله زمانی پیش‌بینی کند.

وی افزود: «با رمزگشایی و تجزیه و تحلیل سیگنال دریافتی با یک مدل یادگیری ماشینی آموزش دیده، طبقه‌بندی حرکات بر اساس توالی فشار امکان پذیر است. سپس دستور ژست و صدای مربوطه در یک گوشی هوشمند در برنامه‌ای که ما توسعه داده‌ایم نشان داده می‌شود.»

همچنین این تیم برخی برنامه کاربردی، از جمله ادغام در اینترنت اشیا، نظارت بر سلامت، تعامل انسان و کامپیوتر، و متاورس را پیش‌بینی کرده است. با این حال، این فناوری هنوز در مراحل ابتدایی خود است و باید قبل از استفاده گسترده، چند چالش ارد آن برطرف کرد.

کو گفت: «اختلالات محیطی در سناریو‌های کاربردی پیچیده باعث ایجاد نویز در سیگنال پاسخ می‌شود که می‌تواند از طریق بهینه‌سازی پردازش سیگنال الکتریکی یا عملکرد دستگاه حل شود. ما همچنین به داده‌های آموزشی بیشتری نیاز داریم. توزیع داده‌های تجربی جمع‌آوری شده در طول آزمایش‌ها و داده‌های کاربردی واقعی متفاوت خواهد بود. ما باید از سازگاری داده‌های آموزشی و داده‌های آزمون اطمینان حاصل کنیم.»

آینده حسگر‌های چند وجهی روشن به نظر می‌رسد و با توسعه آن احتمالاً پیشرفت‌های تغییردهنده زندگی بیشتری حاصل خواهد شد.