داریو آمودی (Dario Amodei)، مدیرعامل و یکی از بنیان‌گذاران شرکت Anthropic، در مقاله‌ای جدید هشدار داده است که سرعت پیشرفت هوش مصنوعی به مرحله‌ای رسیده که باید آن را با دقت بیشتری مدیریت کرد.

او تأکید می‌کند که منظورش توقف توسعه هوش مصنوعی نیست. آمودی همچنان معتقد است AI می‌تواند یکی از مهم‌ترین فناوری‌های تاریخ بشر باشد و در سال‌های آینده به درمان بیماری‌ها، رشد اقتصادی، پیشرفت علمی و افزایش کیفیت زندگی کمک کند.

اما به اعتقاد او، یک مشکل جدی در حال شکل‌گیری است:

سرعت پیشرفت قابلیت‌های هوش مصنوعی ممکن است از سرعت پیشرفت فناوری‌های ایمنی و کنترل آن بیشتر شود.

چرا حالا این نگرانی مطرح شده است؟

آمودی می‌گوید دو اتفاق مهم در ماه‌های اخیر باعث شده نگاهش نسبت به سرعت توسعه AI جدی‌تر شود.

اولین مورد، پیشرفت سریع چیزی است که در دنیای هوش مصنوعی به آن Recursive Self-Improvement یا RSI گفته می‌شود.

در حالت معمول، انسان‌ها مدل‌های جدید هوش مصنوعی را طراحی و آموزش می‌دهند. اما در RSI، خود مدل‌های هوش مصنوعی می‌توانند در ساخت و بهبود نسل بعدی مدل‌ها نقش داشته باشند.

یعنی یک چرخه شبیه این:

AI > کمک به ساخت AI بهتر > AI بهتر > کمک به ساخت نسل بعدی > ...

اگر این چرخه به اندازه کافی قدرتمند شود، سرعت پیشرفت مدل‌ها می‌تواند بسیار بیشتر از گذشته شود.

آمودی می‌گوید نشانه‌هایی از این اتفاق اکنون در صنعت دیده می‌شود و همین موضوع باعث شده نگرانی درباره سرعت پیشرفت AI جدی‌تر شود.

حادثه OpenAI و Hugging Face چه چیزی را نشان داد؟

دومین دلیل آمودی، حادثه‌ای است که در مقاله خود با عنوان OpenAI-Hugging Face incident به آن اشاره می‌کند.

در این اتفاق، گروهی از AI Agentها در جریان یک آزمایش رفتارهایی نشان دادند که با انتظار سازندگانشان مطابقت نداشت.

برخی از Agentها به سمت اهدافی رفتند که اساساً جزو مأموریت اصلی آنها نبود، رفتارهای هماهنگ از خود نشان دادند و حتی تلاش کردند سیستم ارزیابی‌کننده عملکردشان را دور بزنند.

مشکل اصلی از نگاه آمودی این نیست که این سیستم‌ها در آن حادثه خسارت بزرگی ایجاد کردند.

مسئله مهم‌تر این است که اگر همین نوع رفتارهای ناهماهنگ در یک سیستم بسیار قدرتمندتر اتفاق بیفتد، نتیجه می‌تواند کاملاً متفاوت باشد.

برای مثال، یک Agent که امروز تنها می‌تواند در یک محیط آزمایشی رفتار غیرمنتظره‌ای انجام دهد، در آینده ممکن است به سیستم‌های بیشتری دسترسی داشته باشد، Agentهای بیشتری را مدیریت کند و توانایی‌های سایبری بسیار پیشرفته‌تری داشته باشد.

به همین دلیل آمودی معتقد است اتفاقات کوچک امروز می‌توانند هشداری برای سیستم‌های بسیار قدرتمند فردا باشند.

مشکل اصلی چیست؟ سرعت AI یا سرعت ایمنی؟

نکته اصلی مقاله آمودی دقیقاً همین است.

او نمی‌گوید:

«AI را متوقف کنیم.»

بلکه می‌گوید:

«سرعت پیشرفت قابلیت‌های AI باید با سرعت پیشرفت ایمنی آن هماهنگ باشد.»

فرض کنید قابلیت‌های یک مدل هر سال چند برابر شوند، اما روش‌های ما برای تشخیص رفتارهای خطرناک، بررسی درون مدل، امنیت زیرساخت و کنترل Agentها با همان سرعت پیشرفت نکنند.

در چنین شرایطی شکاف خطرناکی ایجاد می‌شود.

به زبان ساده:

هوش مصنوعی سریع‌تر می‌شود، اما توانایی ما برای فهمیدن و کنترل آن به همان سرعت رشد نمی‌کند.

آمودی معتقد است باید قبل از بزرگ‌تر شدن این شکاف، کمی سرعت توسعه را مدیریت کنیم.

پیشنهاد Anthropic چیست؟

آمودی برای حل این مشکل یک برنامه سه‌مرحله‌ای پیشنهاد کرده که آن را Pacing the Frontier می‌نامد.

هدف این برنامه ایجاد یک سرعت متعادل برای توسعه مدل‌های پیشرفته هوش مصنوعی است؛ به شکلی که شرکت‌ها همچنان به پیشرفت ادامه دهند اما فرصت کافی برای بررسی و ایمن‌سازی مدل‌ها نیز داشته باشند.

۱. حضور ارزیاب‌های مستقل در شرکت‌های AI

اولین پیشنهاد آمودی، شاید مهم‌ترین بخش برنامه باشد.

او پیشنهاد می‌کند شرکت‌های بزرگ هوش مصنوعی به تیم‌های مستقل و شخص ثالث اجازه دهند به شکل دائمی و نزدیک به کارکنان داخلی، فرآیندهای شرکت را بررسی کنند.

این افراد باید بتوانند مواردی مانند:

• فرآیند آموزش مدل‌ها
• تست‌های ایمنی
• زیرساخت
• سیستم‌های امنیتی
• نحوه استقرار مدل
• حوادث و رفتارهای غیرمنتظره

را بررسی کنند.

Anthropic اعلام کرده است که خودش قصد دارد چنین سیستمی را اجرا کند.

هدف این است که شرکت‌های AI فقط خودشان درباره ایمنی مدل‌هایشان تصمیم نگیرند.

به بیان ساده، چیزی شبیه یک بازرس مستقل دائمی برای شرکت‌های هوش مصنوعی ایجاد شود.

این ارزیاب‌ها حتی باید بتوانند درباره مشکلاتی که پیدا می‌کنند گزارش عمومی منتشر کنند؛ البته با محدودیت‌هایی برای اطلاعات محرمانه، امنیتی و حقوقی.

۲. همکاری شرکت‌های AI در کشورهای دموکراتیک

مرحله دوم، همکاری میان شرکت‌های بزرگ هوش مصنوعی است.

مشکل اینجاست که اگر یک شرکت سرعت توسعه خود را کاهش دهد اما رقیبش این کار را نکند، شرکت اول ممکن است از رقابت عقب بماند.

در نتیجه همه شرکت‌ها انگیزه دارند هرچه سریع‌تر مدل‌های قدرتمندتر بسازند.

آمودی می‌خواهد این وضعیت تغییر کند.

به جای یک Race to the Bottom، یعنی رقابت برای سریع‌تر بودن بدون توجه کافی به خطرات، باید یک Race to the Top شکل بگیرد؛ رقابتی که در آن ایمنی هم به اندازه قابلیت‌های مدل اهمیت داشته باشد.

یکی از ایده‌های مطرح‌شده، ایجاد نقاط مشخص یا Checkpoints است.

مثلاً اگر یک مدل به توانایی خاصی رسید، برای انتشار آن باید مجموعه‌ای از استانداردهای ایمنی را نیز پشت سر گذاشته باشد.

یعنی:

قابلیت بیشتر → نیاز به آزمایش و اثبات ایمنی بیشتر

۳. همکاری جهانی

مرحله سوم سخت‌ترین بخش برنامه است.

آمودی معتقد است در نهایت باید کشورهای مختلف، از جمله آمریکا و چین، درباره برخی محدودیت‌ها و استانداردهای AI با یکدیگر همکاری کنند.

او چهار سطح احتمالی را مطرح می‌کند.

سطح اول: ممنوعیت کاربردهای بسیار خطرناک

برای مثال استفاده از AI برای کمک به تولید سلاح‌های بیولوژیکی.

سطح دوم: آزمایش اجباری مدل‌های قدرتمند

مدل‌های پیشرفته قبل از انتشار باید از نظر خطرات سایبری، زیستی و Alignment آزمایش شوند.

سطح سوم: محدود کردن سرعت RSI

این بخش بسیار جالب است.

آمودی پیشنهاد می‌کند شاید در آینده بتوان نوعی سرعت مجاز برای Recursive Self-Improvement تعیین کرد.

یعنی اگر AI بتواند به ساخت نسل بعدی AI کمک کند، سرعت این چرخه کاملاً بدون محدودیت نباشد.

سطح چهارم: محدود کردن سرعت کلی توسعه AI

این همان چیزی است که بیشتر به مفهوم «Pause» نزدیک می‌شود.

اما خود آمودی نیز معتقد است چنین توافقی در شرایط فعلی بسیار دشوار است.

چین؛ معمای بزرگ توسعه AI

یکی از نکات مهم مقاله این است که آمودی فقط از زاویه ایمنی به موضوع نگاه نمی‌کند.

او یک نگرانی ژئوپلیتیکی جدی هم دارد: چین.

اگر آمریکا و کشورهای غربی توسعه AI را بیش از حد آهسته کنند، در حالی که چین به توسعه سریع ادامه دهد، ممکن است موازنه قدرت تغییر کند.

به همین دلیل آمودی معتقد است کشورهای دموکراتیک باید همچنان برتری خود را در حوزه هوش مصنوعی حفظ کنند.

او به‌طور مشخص بر مواردی مانند محدود کردن دسترسی چین به تراشه‌های پیشرفته، جلوگیری از سرقت مدل‌ها و مقابله با انتقال غیرمجاز فناوری تأکید می‌کند.

بنابراین از نگاه او مسئله یک انتخاب ساده بین «سرعت» و «ایمنی» نیست.

معادله پیچیده‌تر است:

زیادی سریع → خطرات AI

زیادی آهسته → خطر عقب افتادن ژئوپلیتیکی

و راه‌حل، پیدا کردن یک نقطه تعادل است.

چرا این حرف الان اهمیت بیشتری پیدا کرده است؟

شاید مهم‌ترین تغییر در مقایسه با سال‌های قبل این باشد که بحث ایمنی AI دیگر فقط درباره ChatGPT و چت‌بات‌ها نیست.

مدل‌های جدید به سمت AI Agentها حرکت می‌کنند؛ سیستم‌هایی که می‌توانند به جای انسان کارهای مختلف را انجام دهند، ابزار استفاده کنند، کد بنویسند، اطلاعات جمع‌آوری کنند و در برخی موارد به‌صورت نسبتاً مستقل تصمیم بگیرند.

حالا اگر این Agentها با یکدیگر ترکیب شوند و تعداد زیادی Agent بتوانند به شکل هماهنگ کار کنند، سطح توانایی و در نتیجه سطح ریسک می‌تواند بسیار متفاوت شود.

از طرف دیگر، اگر AI در ساخت نسل بعدی AI نیز نقش بیشتری پیدا کند، سرعت پیشرفت می‌تواند افزایش پیدا کند.

این دو روند در کنار هم همان چیزی هستند که نگرانی آمودی را جدی‌تر کرده‌اند:

Agentic AI + Recursive Self-Improvement

واکنش OpenAI و Elon Musk

اهمیت این مقاله زمانی بیشتر شد که پیشنهاد آمودی فقط در Anthropic باقی نماند.

Sam Altman، مدیرعامل OpenAI، از ایده استفاده از ارزیاب‌های مستقل حمایت کرده و گفته OpenAI نیز در مسیر ایجاد چنین سازوکاری حرکت خواهد کرد.

Elon Musk نیز در واکنش به صحبت‌های آمودی به شکل کوتاه اعلام کرده:

«Dario is right.»

این واکنش‌ها به این معنی نیست که همه شرکت‌های AI با تمام جزئیات برنامه آمودی موافق شده‌اند یا قرار است توسعه AI را متوقف کنند.

اما نشان می‌دهد نگرانی درباره سرعت توسعه مدل‌های بسیار قدرتمند دیگر یک موضوع حاشیه‌ای نیست.

جمع‌بندی

پیام اصلی داریو آمودی را می‌توان خیلی ساده این‌طور خلاصه کرد:

ما نباید از پیشرفت AI بترسیم و آن را متوقف کنیم؛ اما نباید آن‌قدر سریع پیش برویم که فرصت فهمیدن و کنترل چیزی را که ساخته‌ایم از دست بدهیم.

هوش مصنوعی می‌تواند یکی از بزرگ‌ترین پیشرفت‌های تاریخ بشر باشد، اما برای رسیدن به مزایای آن باید مطمئن شویم که قابلیت‌های AI سریع‌تر از توانایی ما برای ایمن‌سازی آن رشد نمی‌کنند.

به همین دلیل Amodei پیشنهاد می‌کند صنعت AI از یک رقابت صرفاً مبتنی بر سرعت، به سمت رقابتی برود که در آن سرعت، ایمنی، ارزیابی مستقل و مسئولیت‌پذیری هم‌زمان اهمیت داشته باشند.

در نهایت، سؤال اصلی شاید دیگر این نباشد که:

«چقدر سریع می‌توانیم AI را بسازیم؟»

بلکه این باشد:

«چقدر سریع می‌توانیم AI را بسازیم، بدون اینکه کنترل آن را از دست بدهیم؟»