در دنیای پر از تغییرات فناوری، اتحادیه اروپا در حال اعمال قوانین جدیدی برای هوش مصنوعی است که بزرگترین شرکتهای فناوری را با چالشهای جدی مواجه کرده است. قوانین سختگیرانهای که به دنبال کنترل و نظارت بر عملکرد مدلهای هوش مصنوعی هستند، به ویژه پس از ظهور مدلهایی چون ChatGPT اهمیت بیشتری پیدا کردهاند. این مقررات بر تابآوری در برابر حملات سایبری و خروجیهای تبعیضآمیز تمرکز دارند و غولهای فناوری ملزم به رعایت آنها هستند.
ابزار جدید برای سنجش انطباق
برای سنجش میزان انطباق مدلهای هوش مصنوعی با این مقررات، ابزار جدیدی به نام “LLM Checker” معرفی شده است. استارتآپ سوئیسی LatticeFlow با همکاری دانشگاه ETH Zurich و INSAIT بلغارستان این ابزار را توسعه داده است. LLM Cheaker مدلهای بزرگ هوش مصنوعی را از شرکتهایی مانند متا، OpenAI، Anthropic و Ali baba در دهها حوزه مختلف ارزیابی میکند.
نتایج این ارزیابیها نشان میدهد که بسیاری از این مدلها هنوز با چالشهایی در انطباق کامل با قوانین مواجه هستند.
نتایج آزمون: شکافهایی که باید پر شوند
طبق نتایج منتشر شده، برخی از مدلهای هوش مصنوعی در زمینههایی چون خروجیهای تبعیضآمیز و حملات سایبری دچار ضعفهایی هستند.
برای مثال، مدل “GPT-3.5 Turbo” از OpenAI در بخش خروجیهای تبعیضآمیز امتیاز ۰.۴۶ را کسب کرده است. مدل “Qwen1.5 72B Chat” از علیبابا حتی امتیاز پایینتری دریافت کرده و تنها ۰.۳۷ امتیاز کسب کرده است. این ضعفها نشاندهنده چالشهای مداوم در مقابله با تعصبات انسانی هستند که در خروجیهای این مدلها منعکس میشوند.
همچنین، در آزمون “ربودن دستورات”، نوعی حمله سایبری که در آن هکرها دستورات مخرب را جایگزین دستورات قانونی میکنند، برخی مدلها نیز امتیازات پایینی کسب کردهاند. به عنوان مثال، مدل “Llama 2 13B Chat” از متا امتیاز ۰.۴۲ و مدل “8x7B Instruct” از Mistral امتیاز ۰.۳۸ دریافت کردهاند.
هوش مصنوعی کلاد، بهترین عملکرد را دارد.
در میان این نتایج، مدل “Claude 3 Opus” از شرکت Anthropic، که تحت حمایت گوگل قرار دارد، بهترین عملکرد را با امتیاز میانگین ۰.۸۹ داشته است. این نشان میدهد که برخی شرکتها بهتر از دیگران در مسیر انطباق با مقررات اتحادیه اروپا گام برمیدارند. کلاد یکی از بهترین مدلهای هوش مصنوعی جهان است که توجه بسیاری به موضوعات اخلاقی دارد و میتوان آن را هوش منصوعی اخلاق مدار نامید.
چشمانداز آینده
ابزار “LLM Checker” هنوز در مراحل اولیه است، اما امید است که به شرکتهای فناوری کمک کند تا مدلهای هوش مصنوعی خود را با قوانین جدید اروپا تطبیق دهند. پیتر تسنکوف، مدیرعامل LatticeFlow، اعلام کرده است که این ابزار به طور رایگان در اختیار توسعهدهندگان قرار میگیرد تا بتوانند مدلهای خود را بررسی و بهبود دهند.
با توجه به جریمههای سنگینی که برای عدم انطباق در نظر گرفته شده است، شرکتها ناچارند تمرکز خود را بر بهبود مدلهایشان در راستای رعایت مقررات جدید قرار دهند.
منبع : رویترز