راهی سریع‌تر برای آموزش ربات‌های همه منظوره

زهرا صالحی- محققان با الهام از مدل‌های زبانی بزرگ، یک تکنیک آموزشی ایجاد کردند که داده‌های متنوعی را برای آموزش مهارت‌های جدید به ربات‌ها جمع‌آوری می‌کند. در کارتون کلاسیک «جتسون‌ها»، رزی خدمتکار رباتیک به‌طور یکپارچه از جاروبرقی خانه به پختن شام و بیرون آوردن زباله‌ها تغییر می‌کند اما در زندگی واقعی، آموزش یک ربات همه منظوره همچنان یک چالش بزرگ است. به طور معمول، مهندسان داده‌هایی را جمع‌آوری می‌کنند که مختص یک ربات و کار خاص است و از آنها برای آموزش ربات در یک محیط کنترل‌شده استفاده می‌کنند. با این حال، جمع‌آوری این داده‌ها پرهزینه و زمان‌بر است و ربات احتمالا برای سازگاری با محیط‌ها یا وظایفی که قبلا ندیده است، مشکل خواهد داشت. برای آموزش ربات‌های همه منظوره بهتر، محققان MIT یک تکنیک همه‌کاره را توسعه دادند که حجم عظیمی از داده‌های ناهمگن را از بسیاری از منابع در یک سیستم ترکیب می‌کند که می‌تواند به هر رباتی طیف وسیعی از وظایف را آموزش دهد.
روش آنها شامل تراز کردن داده‌ها از حوزه‌های مختلف، مانند شبیه‌سازی‌ها و ربات‌های واقعی و روش‌های متعدد، از جمله حسگرهای بینایی و رمزگذارهای موقعیت بازوی رباتیک، در یک «زبان» مشترک است که یک مدل هوش‌مصنوعی مولد می‌تواند آن را پردازش کند. با ترکیب چنین حجم عظیمی از داده‌ها، این رویکرد می‌تواند برای آموزش یک ربات برای انجام کارهای مختلف بدون نیاز به شروع آموزش از ابتدا در هر بار استفاده شود. این روش می‌تواند سریع‌تر و کم‌هزینه‌تر از تکنیک‌های سنتی باشد زیرا به داده‌های اختصاصی کار بسیار کمتری نیاز دارد. علاوه بر این در شبیه‌سازی و آزمایش‌های واقعی، بیش از 20‌درصد از آموزش از ابتدا بهتر عمل کرد، همچنین در رباتیک، مردم اغلب ادعا می‌کنند که ما داده‌های آموزشی کافی نداریم اما از نظر من، مشکل بزرگ دیگر این است که داده‌ها از دامنه‌ها، روش‌ها و سخت‌افزار ربات مختلف می‌آیند. کار ما نشان می‌دهد که شما چگونه خواهید بود. لیروی وانگ، دانشجوی فارغ‌التحصیل مهندسی برق و علوم کامپیوتر (EECS) و نویسنده ارشد مقاله در مورد این تکنیک می‌گوید که می‌تواند یک ربات را با همگی آنها آموزش دهد. یک «سیاست» رباتیک مشاهدات حسگر را انجام می‌دهد، مانند تصاویر دوربین یا اندازه‌گیری‌های حس عمقی که سرعت را ردیابی می‌کند و یک بازوی رباتیک را قرار می‌دهد و سپس به ربات می‌گوید چگونه و کجا حرکت کند.
خط‌مشی‌ها معمولا با استفاده از یادگیری تقلیدی آموزش داده می‌شوند، به این معنی که یک انسان اقداماتی را نشان می‌دهد یا از یک ربات برای تولید داده‌ها از راه دور استفاده می‌کند که به یک مدل هوش‌مصنوعی وارد می‌شود که خط‌مشی را یاد می‌گیرد. از آنجایی که این روش از مقدار کمی از داده‌های مربوط به کار استفاده می‌کند، ربات‌ها اغلب زمانی که محیط یا وظیفه‌شان تغییر می‌کند، از کار می‌افتند. برای توسعه یک رویکرد بهتر، وانگ و همکارانش از مدل‌های زبان بزرگی مانند
«GPT-4 » الهام گرفتند. این مدل‌ها با استفاده از حجم عظیمی از داده‌های زبانی متنوع از قبل آموزش داده شده و سپس با تغذیه مقدار کمی از داده‌های ویژه کار به آنها تنظیم می‌شوند. پیش‌آموزش روی داده‌های بسیار به مدل‌ها کمک می‌کند با انجام وظایف مختلف به خوبی عمل کنند. او می‌گوید: «در حوزه زبان، داده‌ها همه فقط جملات هستند. در رباتیک، با توجه به همه ناهمگونی‌ها در داده‌ها، اگر می‌خواهید به روشی مشابه پیش‌آموزش کنید، به معماری متفاوتی نیاز داریم.»
داده‌های رباتیک اشکال مختلفی دارند، از تصاویر دوربین گرفته تا دستورالعمل‌های زبان و نقشه‌های عمقی. در عین حال، هر ربات از نظر مکانیکی منحصر به فرد است، با تعداد و جهت‌گیری متفاوت بازوها، گیره‌ها و حسگرها. به علاوه، محیط‌هایی که داده‌ها در آن جمع‌آوری می‌شوند بسیار متفاوت هستند. محققان MIT معماری جدیدی به نام ترانسفورماتورهای پیش‌آموزش ناهمگن (HPT) ایجاد کردند که داده‌ها را از این روش‌ها و حوزه‌های مختلف یکپارچه می‌کند. آنها یک مدل یادگیری ماشینی معروف به ترانسفورماتور را در وسط معماری خود قرار دادند که ورودی‌های دید و حس عمقی را پردازش می‌کند. ترانسفورماتور همان مدلی است که ستون فقرات مدل‌های زبان بزرگ را تشکیل می‌دهد. محققان داده‌های بینایی و حس عمقی را در یک نوع ورودی به نام توکن تراز می‌کنند که ترانسفورماتور می‌تواند آن را پردازش کند. هر ورودی با همان تعداد نشانه ثابت نشان داده می‌شود. سپس ترانسفورماتور تمام ورودی‌ها را در یک فضای مشترک نقشه‌برداری می‌کند و در حین پردازش و یادگیری از داده‌های بیشتر، به یک مدل بزرگ و از پیش آموزش‌دیده تبدیل می‌شود. هرچه ترانسفورماتور بزرگ‌تر شود، عملکرد بهتری خواهد داشت. یک کاربر فقط باید مقدار کمی از داده‌های HPT را در مورد طراحی، راه‌اندازی و وظیفه‌ای که می‌خواهد انجام دهد، تغذیه کند. سپس HPT دانشی را که ترانسفورماتور در طول پیش‌آموزش دانه‌بندی کرده است، برای یادگیری کار جدید انتقال می‌دهد.
یکی از بزرگ‌ترین چالش‌های توسعه HPT، ساخت مجموعه داده‌های عظیم برای پیش‌آموزش ترانسفورماتور بود که شامل 52‌مجموعه داده با بیش از 200000 مسیر ربات در چهار دسته، از جمله ویدئوهای آزمایشی انسانی و شبیه‌سازی بود. محققان همچنین نیاز به توسعه روشی کارآمد برای تبدیل سیگنال‌های خام حس عمقی از مجموعه‌ای از حسگرها به داده‌هایی داشتند که ترانسفورماتور می‌توانست از آن استفاده کند. وانگ توضیح می‌دهد: «حس عمقی کلیدی برای فعال کردن بسیاری از حرکات ماهرانه است. از آنجایی که تعداد نشانه‌ها در معماری ما همیشه یکسان است، ما به همان اندازه به حس عمقی و بینایی اهمیت می‌دهیم.» هنگامی که آنها HPT را آزمایش کردند، عملکرد ربات را بیش از 20‌درصد در کارهای شبیه‌سازی و دنیای واقعی در مقایسه با آموزش از ابتدا در هر بار بهبود بخشید. حتی زمانی که این کار با داده‌های پیش‌آموزشی بسیار متفاوت بود، HPT همچنان عملکرد را بهبود بخشید. در آینده محققان می‌خواهند بررسی کنند که چگونه تنوع داده‌ها می‌تواند عملکرد HPT را افزایش دهد. آنها همچنین می‌خواهند HPT را تقویت کنند تا بتواند داده‌های بدون برچسب مانند GPT-4 و سایر مدل‌های زبان بزرگ را پردازش کند. آنها می‌گویند: «رویای ما داشتن یک مغز ربات جهانی است که بتوانید آن را دانلود کنید و برای ربات خود بدون هیچ آموزشی از آن استفاده کنید. در حالی که ما در مراحل اولیه هستیم، به سختی ادامه می‌دهیم و امیدواریم که مقیاس‌بندی منجر به پیشرفت در رباتیک شود. سیاست‌ها، مانند آنچه در مورد مدل‌های زبانی بزرگ انجام داد.»