هوش مصنوعی از منطق پیشرفت علمی پیروی نمی کند

ما بارها در MT در مورد محققان و متخصصانی نوشته‌ایم که سیستم‌های یادگیری ماشین را «جعبه‌های سیاه» (1) حتی برای کسانی که آن‌ها را می‌سازند، اعلام می‌کنند. این امر ارزیابی نتایج و استفاده مجدد از الگوریتم های در حال ظهور را دشوار می کند.

شبکه‌های عصبی - تکنیکی که به ما ربات‌های تبدیل هوشمند و تولیدکننده‌های متن مبتکرانه‌ای می‌دهد که حتی می‌توانند شعر خلق کنند - برای ناظران بیرونی یک راز غیرقابل درک باقی می‌ماند.

آنها بزرگتر و پیچیده تر می شوند، مجموعه داده های عظیمی را مدیریت می کنند و از آرایه های محاسباتی عظیم استفاده می کنند. این امر تکرار و تجزیه و تحلیل مدل های به دست آمده را برای سایر محققین پرهزینه و گاه غیرممکن می کند، مگر برای مراکز بزرگ با بودجه های هنگفت.

بسیاری از دانشمندان به خوبی از این مشکل آگاه هستند. از جمله آنها جوئل پینو (2)، رئیس NeurIPS، کنفرانس برتر تکرارپذیری. کارشناسان تحت رهبری او می خواهند یک "چک لیست تکرارپذیری" ایجاد کنند.

به گفته پینو، ایده این است که محققان را تشویق کند تا به دیگران نقشه راه ارائه دهند تا بتوانند کارهایی را که قبلا انجام داده‌اند بازآفرینی کرده و استفاده کنند. شما می توانید از شیوایی یک تولید کننده متن جدید یا چابکی فوق بشری یک ربات بازی ویدیویی شگفت زده شوید، اما حتی بهترین متخصصان نیز نمی دانند این شگفتی ها چگونه کار می کنند. بنابراین، بازتولید مدل‌های هوش مصنوعی نه تنها برای شناسایی اهداف و جهت‌های جدید برای تحقیق، بلکه به‌عنوان یک راهنمای کاملاً عملی برای استفاده نیز مهم است.

دیگران در تلاش برای حل این مشکل هستند. محققان گوگل «کارت‌های مدل» را برای تشریح جزئیات نحوه آزمایش سیستم‌ها، از جمله نتایجی که به اشکالات احتمالی اشاره می‌کنند، ارائه کردند. محققان موسسه آلن برای هوش مصنوعی (AI2) مقاله ای را منتشر کرده اند که هدف آن گسترش چک لیست تکرارپذیری Pinot به سایر مراحل در فرآیند آزمایشی است. آنها اصرار می کنند: "کار خود را نشان دهید."

گاهی اوقات اطلاعات اولیه گم می شود زیرا پروژه تحقیقاتی متعلق به آزمایشگاه هایی است که برای شرکت کار می کنند. با این حال، اغلب نشانه‌ای از ناتوانی در توصیف روش‌های تحقیق در حال تغییر و پیچیده است. شبکه های عصبی حوزه بسیار پیچیده ای هستند. برای به دست آوردن بهترین نتایج، تنظیم دقیق هزاران "شستی و دکمه" اغلب مورد نیاز است که برخی آن را "جادوی سیاه" می نامند. انتخاب مدل بهینه اغلب با تعداد زیادی آزمایش همراه است. جادو بسیار گران می شود.

به عنوان مثال، زمانی که فیس بوک سعی کرد کار AlphaGo را تکرار کند، سیستمی که توسط DeepMind Alphabet توسعه یافته بود، این کار بسیار دشوار بود. به گفته کارمندان فیس بوک، نیازمندی های محاسباتی عظیم، میلیون ها آزمایش بر روی هزاران دستگاه در طول روز، همراه با کمبود کد، سیستم را "اگر نگوییم غیرممکن" بازسازی، آزمایش، بهبود و گسترش آن بسیار دشوار کرده است.

مشکل به نظر تخصصی است. با این حال، اگر بیشتر فکر کنیم، پدیده مشکلات تکرارپذیری نتایج و عملکردها بین یک تیم تحقیقاتی و تیم دیگر، تمام منطق عملکرد علم و فرآیندهای تحقیقاتی را که برای ما شناخته شده است، تضعیف می کند. به عنوان یک قاعده، نتایج تحقیقات قبلی می تواند به عنوان مبنایی برای تحقیقات بیشتر مورد استفاده قرار گیرد که توسعه دانش، فناوری و پیشرفت عمومی را تحریک می کند.