گزارشی از چالش استدلال وانتزاع ـ سایت کَگل
The Abstraction and Reasoning Corpus (ARC)
This competition was hosted by François Chollet
این گزارش توسط سمیه غلامی و مهران کاظمی نیا تهیه شده است
درحال حاضرالگوریتم های یادگیری ماشین ازاطلاعات والگوهای قبلی استفاده می کنند. یعنی این الگوریتم ها، داده های زیادی را دریافت می کنند تا مهارت های جدیدی بیاموزند. ولی آیا کامپیوترها می توانند مانند یک انسان، کارهای پیچیده و انتزاعی را فقط از چند نمونه بیاموزند؟ مثلا آیا می توانند مانند انسان ها به سوالاتِ استدلالی که تا به حال ندیده اند، پاسخ صحیح بدهند؟ این دقیقا موضوع مسابقه استدلال وانتزاع بود که اخیرا به پایان رسید و یکی از بحث برانگیزترین چالش های کَگل نیز محسوب می شود. در این چالش از شرکت کنندگان خواسته شد تا یک هوش مصنوعی را درمدت سه ماه ایجاد کنند که بتواند سوالاتِ استدلالی را که قبلاً ندیده است، حل کند
سوالات استدلالی این چالش، دقیقا مانند آزمونهای هوش در مسابقات انسانی بود؛ یعنی سوالات ساده، متوسط و گاهی نسبتا سخت را شامل می شد. البته یک انسان معمولی قادر بود در یک زمان معقول، همه سوالات را پاسخ دهد و سوالات پیچیدگی خارق العاده ای نداشت. چالش این بود که چگونه می توان به ماشین، همه مفاهیم استدلالی مثل؛ تغییررنگ، تغییرسایز، تغییر در ترتیب قرار گیری و … را آموزش داد تا ماشین هم بتواند در یک آزمون هوش انسانی، که تا به حال ندیده است، موفقیت کسب کند
جایزه این مسابقه مجموعا مبلغ بیست هزار دلار بود که بین سه نفراول (سه تیم اول) تقسیم شد. اما همانطورکه حدس زده می شد؛ حتی نتایج نفرات اول نیز، امیدوارکننده نبود. این چالش تقریبا هزار شرکت کننده داشت که الگوریتم های نیمی ازآنها به هیچ کدام ازسوالات پاسخ صحیح ندادند. اگرالگوریتم یک تیم اصلا کار نمی کرد، امتیاز یک می گرفت و اگرمی توانست به تعداد کمی ازسوالات، پاسخ صحیح بدهد، مثلا امتیاز نود وهشت صدم یا … دریافت می کرد. به هرحال فقط دوازده تیم توانستند کمتر از نود صدم امتیازبگیرند. درادامه جدول نهایی امتیازات مسابقه برای سی نفر اول، آورده شده است
با این که حقیقتا نبوغ و تلاش برندگان و شرکت کنندگان این مسابقه قابل تحسین است، ولی با یک نگاه به جدول امتیازات، به نظر می رسد که هنوز با جواب نهایی فاصله داریم. حتی تضمینی نیست که بهترین روش ها توسط شرکت کنندگان انتخاب شده باشد. آیا با استفاده از همین نوع الگوریتم ها، با تلاش بیشتر درآینده، می توان به جواب چالش نزدیک شد؟ یا باید روش های دیگر را نیزامتحان کرد. به هرحال برندگان مسابقه در لینک های زیر روش خود را شرح داده اند و برخی از آنها کدهای کامل خود را ارائه کرده اند
احتمالا آقای فرانسوا شله از قبل می دانست که روش های مرسوم، مثلا استفاده از شبکه های عصبی و حتی عمیق ترین شبکه های فعلی، نمی تواند راه حل اصلی مسابقه باشد. او با این چالش، همین موضوع را به همه ثابت کرد. تمام شرکت کنندگانی که صرفا از روش های کلاسیک تحلیل تصاویر و شبکه های عصبی عمیق با استفاده از پایتورچ یا کراس استفاده کردند، فقط توانستند امتیازیک و یا نود و نه صدم دریافت کنند. به همین دلیل روش های خلاقانه برندگان مسابقه ، حقیقتا متفاوت وآموزنده هستند
List of gold medal solutions shared:
1st place solution by icecuber
2nd place solution by Alejandro de Miquel
3rd place solution by Vlad Golubev
3rd place solution by Ilia
5th place solution by alijs
6th place solution by Zoltan
8th place solution by Andy Penrose
8th place solution by Maciej Sypetkowski
8th place solution by Jan Bre
9th place solution by Hieu Phung
10th place solution by Alexander Fritzler
شاید یکی از سخت ترین موضوعات چالش این بود که این مسابقه یک چالش کلاس بندی نبود. یعنی جوابها نباید از بین چند گزینه تصویری انتخاب می شدند، بلکه جوابها می بایست بصورت تصویر(ماتریس) ساخته می شدند. به همین دلیل کسانی که فکر می کردند می توانند به روش های کلاسیک، ماشین را آموزش بدهند و با حدس و گمان کار را جلو ببرند، مایوس شدند
ماهیت این چالش باعث شد که روشهای مرسوم هوش مصنوعی، کارائی زیادی نداشته باشند و فقط خلاقیت توانست برندگان را به موفقیت نزدیک کند. البته بعضی از شرکت کنندگان به حل نمونه هایی پرداختند که به نوعی استثناء محسوب می شدند و راه حل های ساده ای داشتند. طبیعی است که این افراد موفقیت زیادی کسب نکردند و فقط تعداد کمی از نمونه ها را حل نمودند. اگر شما هم به موضوع علاقه مند شدید، می توانید روی سایت کگل اطلاعات بسیار زیادی از این چالش کسب نمایید. شاید بخواهید ابتکار خود را داشته باشید و راه حل های خود را امتحان کنید. برای شروع کار، خواندن مقاله آقای فرانسوا شله و استفاده از رابط آزمایشی ایشان در گیت هاب، می تواند مفید باشد. در زیر، لینک این موارد را ببینید
Abstraction and Reasoning Challenge
