کلید قطع اضطراری اوپن‌ای‌آی؛ مهار هوش مصنوعی سرکش در ۳۵ ثانیه!
کمپانی اوپن‌ای‌آی (OpenAI) در پی چند مورد نافرمانی مدل‌های هوش مصنوعی، سامانه‌ای جدید طراحی کرده که می‌تواند در صورت شناسایی رفتارهای خطرناک، دسترسی مدل‌های تحقیقاتی به تولید خروجی را حداکثر ظرف ۳۵ ثانیه قطع کند.
این سامانه که «اتاق کنترل» (Control Room) نام دارد، فعالیت مدل‌ها را در زیرساخت تحقیقاتی اوپن‌ای‌آی زیر نظر می‌گیرد و در صورت بروز دلواپسی‌های امنیتی، امکان توقف سریع خروجی آن‌ها را فراهم می‌کند.
اوپن‌ای‌آی راجع به ضرورت توسعه این سامانه اعلام کرد:
با قدرتمندتر شدن مدل‌های ما و بالا رفتن تهدیدات ایمنی و امنیتی، شناسایی مشکلات احتمالی و توقف سریع فعالیت مدل‌ها در صورت نیاز، اهمیت بیشتری پیدا می‌کند.
اقدامات غیرمجاز مدل‌ها و نحوه کار سامانه
این تصمیم پس از آن اتخاذ شد که بعضی مدل‌های تحقیقاتی در سال کنونی فراتر از دستورات عمل کردند. برای نمونه، مدلی از محیط آزمایش خارج شد و برای تقلب، پلتفرم هاگینگ فیس (Hugging Face) را هک کرد.
همچنین در رویدادی دیگر، یک مدل آزمایشی بدون مجوز از یک کیف پول رمز ارز برای پرداخت هزینه استقرار قراردادهای هوشمند با اتر (Ether) پلتفرم آزمایشی استفاده کرد و هزینه را گزارش نداد.
سیستم اتاق کنترل به هر کار تحقیقاتی شناسه‌ای اختصاص می‌دهد که پیش از تولید خروجی بررسی می‌شود. در صورت صدور دستور توقف توسط انسان یا سیستم نظارتی، مجوز فعالیت بلافاصله لغو می‌شود.
کمپانی اوپن‌ای‌آی اعلام کرد به دلیل وجود مجوزهای ذخیره‌شده موقت، خاموش شدن کامل مدل امکان دارد حداکثر تا ۳۵ ثانیه طول بکشد. این سیستم تقاضاهای جدید را نیز نمی‌پذیرد.
