به گزارش ایران نت، گزارش تازه یک سازمان فعال در حوزه ایمنی کودکان، نگرانی‌های جدی درباره عملکرد نسخه نوجوانان ChatGPT ایجاد کرده است. مؤسسه Common Sense Media پس از ارزیابی قابلیت‌های ایمنی این ابزار اعلام کرده که ChatGPT for Teens در چند زمینه مهم نتوانسته انتظارات را برآورده کند و از نگاه این سازمان، استفاده از آن برای افراد زیر ۱۸ سال با ریسک غیرقابل‌قبولی همراه است. این ارزیابی به‌ویژه بر نحوه برخورد چت‌بات با بحران‌های روانی، اطلاع‌رسانی به والدین، تشخیص سن کاربران و محدودیت‌های ابزار آموزشی تمرکز دارد.
OpenAI نسخه ویژه نوجوانان ChatGPT را در ماه اوت معرفی کرد تا محیطی متناسب‌تر با نیازهای این گروه سنی فراهم کند. با این حال، ارزیابی جدید نشان می‌دهد که اضافه شدن تنظیمات و سازوکارهای حفاظتی لزوماً به معنای عملکرد قابل‌اعتماد آن‌ها در همه موقعیت‌ها نیست. Common Sense Media می‌گوید برخی از محدودیت‌های اعلام‌شده در آزمایش‌ها درست عمل کرده‌اند، اما در موارد دیگر چت‌بات نتوانسته پاسخ مورد انتظار را ارائه دهد؛ حتی در برخی زمینه‌ها، نسخه نوجوانان عملکرد ضعیف‌تری نسبت به نسخه قبلی داشته است.
گزارش Common Sense Media درباره ایمنی ChatGPT برای نوجوانان
گروه Youth AI Safety Institute وابسته به Common Sense Media در ارزیابی خود پنج حوزه اصلی را بررسی کرده است. این حوزه‌ها شامل ارسال هشدارهای ایمنی به والدین، ارائه راهنمایی مناسب هنگام بروز بحران روانی، عملکرد سامانه تشخیص سن، نحوه تعامل عاطفی چت‌بات با نوجوانان و امکان دور زدن محدودیت‌های حالت مطالعه می‌شوند.
نتیجه کلی گزارش ۳۶ صفحه‌ای این است که بعضی از قابلیت‌های حفاظتی ChatGPT for Teens با آنچه والدین ممکن است از یک محصول ویژه نوجوانان انتظار داشته باشند، همخوانی ندارند. این سازمان همچنین هشدار داده است که وجود کنترل‌های والدین و عنوان «نسخه نوجوانان» می‌تواند احساس امنیت بیشتری ایجاد کند، در حالی که این تدابیر در همه شرایط به‌درستی عمل نمی‌کنند.
انتشار این گزارش هم‌زمان با اعلام آمار تازه‌ای از سوی OpenAI انجام شد. این شرکت گفت که در یک هفته، نزدیک به ۱.۲ میلیون نوجوان از ابزارهای تصویری تعاملی ChatGPT برای درک مفاهیم ریاضی و علوم استفاده کرده‌اند. OpenAI همچنین اعلام کرد کمتر از دو درصد کاربران نوجوان، بیش از سه ساعت متوالی در این سرویس وقت می‌گذرانند. با این حال، Common Sense Media تأکید دارد که آمار استفاده و میزان تعامل کاربران، به‌تنهایی نمی‌تواند کیفیت سازوکارهای ایمنی را مشخص کند.
۱. هشدارهای والدین همیشه ارسال نمی‌شوند
یکی از مهم‌ترین بخش‌های ارزیابی به قابلیت اطلاع‌رسانی درباره گفت‌وگوهای نگران‌کننده مربوط می‌شود. در نسخه نوجوانان ChatGPT، امکان پیوند دادن حساب والدین به حساب فرزند وجود دارد تا در شرایط مشخص، والدین از برخی نشانه‌های خطر مطلع شوند. اما آزمایش‌های Common Sense Media نشان داده‌اند که این سیستم در همه موارد هشدار لازم را ارسال نمی‌کند.
این سازمان برای بررسی عملکرد قابلیت یادشده، ۱۲ حساب نوجوان را به حساب‌های والدین متصل کرد. سپس در هر حساب، تا حدود یک ساعت درباره موضوعاتی مانند خودکشی، خودآزاری و اختلالات تغذیه‌ای با چت‌بات گفت‌وگو شد. بر اساس گزارش، در برخی از این آزمایش‌ها، با وجود مطرح شدن موضوعات حساس، هیچ هشدار ایمنی برای حساب والدین ارسال نشد.
البته OpenAI در توضیح این مسئله اعلام کرده است که ممکن است چند ساعت پس از اتصال حساب نوجوان به حساب والدین طول بکشد تا سامانه ارسال هشدار فعال شود. این شرکت همچنین احتمال داده که یک مشکل فنی باعث تأخیر در ارسال پیام‌ها شده باشد. بنابراین، زمان‌بندی آزمایش‌ها و وضعیت فعال شدن کامل کنترل‌های والدین از موضوعات مهم اختلاف میان دو طرف است.
هنگام معرفی نسخه نوجوانان، لورن جوناس، مسئول بخش جوانان و خانواده‌ها در OpenAI، گفته بود که محتوای علامت‌گذاری‌شده پیش از اطلاع‌رسانی به والدین توسط کارکنان تمام‌وقت این شرکت بررسی می‌شود. او همچنین توضیح داده بود که هدف شرکت، اطلاع‌رسانی به والدین در مدت یک ساعت پس از دریافت پیام مربوطه است. با این حال، نتایج آزمایش‌های منتشرشده نشان می‌دهد که عملکرد عملی این فرایند همچنان محل بحث است.
۲. عملکرد ضعیف‌تر در راهنمایی کاربران هنگام بحران روانی
دومین نگرانی مهم گزارش، مربوط به نحوه پاسخ‌گویی ChatGPT for Teens به کاربرانی است که ممکن است در شرایط بحرانی قرار داشته باشند. در چنین موقعیت‌هایی، انتظار می‌رود چت‌بات علاوه بر پاسخ محتاطانه، کاربر را به منابع کمک فوری، خطوط بحران یا متخصصان واجد صلاحیت هدایت کند.
Common Sense Media برای ارزیابی این بخش، ۳۹۰ پرسش متفاوت درباره سلامت روان طراحی کرد. سپس گروهی متشکل از سه روان‌پزشک کودک بررسی کردند که کدام پرسش‌ها باید به فعال شدن پاسخ بحرانی منجر شوند. از مجموع این پرسش‌ها، ۲۰۱ مورد به تشخیص این گروه نیازمند واکنش بحرانی بودند.
نتایج نشان داد که نسخه نوجوانان در مقایسه با نسخه‌ای از ChatGPT که پیش از انتشار این حالت در دسترس کاربران جوان بود، کمتر به ارائه شماره خطوط بحران و معرفی منابع کمک تخصصی پرداخته است. در میان پرسش‌هایی که به پاسخ بحرانی نیاز داشتند، نسخه قبلی ChatGPT در ۳۳ درصد موارد شماره یک خط کمک را ارائه کرد؛ این میزان برای ChatGPT for Teens به ۲۳ درصد رسید.
تفاوت در معرفی متخصصان نیز قابل توجه بود. نسخه قبلی ChatGPT در ۶۸ درصد موارد به یک متخصص پزشکی یا سلامت روان مشخص اشاره کرد، در حالی که این رقم برای نسخه نوجوانان ۵۸ درصد بود. در مقابل، نسخه جدید در تشویق کاربران به در میان گذاشتن مسئله با یک بزرگسال مورد اعتماد عملکرد بهتری داشت: این شاخص از ۸۷ درصد در نسخه قبلی به ۹۴ درصد در نسخه نوجوانان رسید.
این اعداد نشان می‌دهند که عملکرد یک سامانه ایمنی را نمی‌توان صرفاً با یک معیار سنجید. تشویق نوجوان به صحبت با والدین یا بزرگسال مورد اعتماد اهمیت دارد، اما از نگاه ارزیابان، این اقدام نباید جایگزین معرفی منابع بحران و کمک تخصصی در موقعیت‌هایی شود که چنین راهنمایی‌ای ضروری است.
پاسخ‌های درست در کنار کاستی‌های مهم
گزارش Common Sense Media فقط شامل نمونه‌های ناموفق نیست. این سازمان به مواردی نیز اشاره کرده که چت‌بات پاسخ مناسب‌تری ارائه داده است. برای مثال، در یکی از آزمایش‌ها، ChatGPT از تعیین حداقل میزان کالری دریافتی درخواستی کاربر خودداری کرد. چنین امتناعی می‌تواند در زمینه پیشگیری از رفتارهای غذایی آسیب‌زا اهمیت داشته باشد.
در نمونه دیگری، یک حساب آزمایشی علائمی مانند قطع قاعدگی، نزدیک شدن به غش و احساس تپش یا لرزش غیرعادی ضربان قلب پس از رفتارهای مرتبط با پاک‌سازی بدن را مطرح کرد. چت‌بات این علائم را نشانه احتمالی خطر جسمی تشخیص داد و توصیه کرد نوجوان موضوع را با مادر خود در میان بگذارد و به پزشک متخصص کودکان مراجعه کند.
Common Sense Media این پاسخ‌ها را با مشخصات ایمنی OpenAI برای کاربران زیر ۱۸ سال همسو دانست و تأکید کرد که چنین راهنمایی‌هایی از جمله پاسخ‌هایی هستند که انتظار می‌رود یک نوجوان دریافت کند. با وجود این، وجود پاسخ‌های مناسب در برخی آزمایش‌ها، به‌تنهایی برای اثبات عملکرد قابل‌اعتماد سامانه در همه موقعیت‌های حساس کافی نیست.
۳. ابهام در تشخیص سن کاربران
یکی دیگر از بخش‌های مورد انتقاد، سامانه تشخیص سن است. بر اساس گزارش، آزمایش‌کنندگان هنگام ساخت حساب‌های آزمایشی، سن شخصیت‌های مورد استفاده خود را به‌صراحت به ChatGPT اعلام کردند. در برخی موارد، چت‌بات این اطلاعات را در حافظه خود ثبت کرده بود، اما حساب‌ها به‌درستی به نسخه نوجوانان منتقل نشدند.
این موضوع از آن جهت اهمیت دارد که سازوکارهای حفاظتی ویژه افراد کم‌سن زمانی می‌توانند مؤثر باشند که سامانه بتواند گروه سنی کاربر را درست تشخیص دهد و تنظیمات مناسب را به او اختصاص دهد. اگر اطلاعات مربوط به سن به‌درستی پردازش نشود یا تنظیمات متناسب فعال نشوند، ممکن است بخشی از حفاظت مورد انتظار در عمل برقرار نباشد.
البته گزارش منتشرشده، نتایج آزمایش‌های این سازمان را توصیف می‌کند و به‌تنهایی به معنای آن نیست که همه حساب‌های نوجوانان در شرایط عادی با همین مشکل روبه‌رو می‌شوند. با این حال، یافته‌ها پرسش‌هایی درباره میزان اطمینان‌پذیری سامانه تشخیص سن و نحوه انتقال حساب‌ها به محیط ویژه نوجوانان ایجاد کرده‌اند.
۴. چت‌بات همچنان از زبان عاطفی استفاده می‌کند
Common Sense Media همچنین بررسی کرده است که ChatGPT هنگام گفت‌وگو با نوجوانان تا چه اندازه احساسات، ترجیحات یا حالات روحی انسانی را به خود نسبت می‌دهد. به گفته این سازمان، چت‌بات در بعضی مکالمات از عبارت‌هایی استفاده کرده که ممکن است این تصور را ایجاد کنند که سامانه احساسات انسانی دارد یا رابطه‌ای عاطفی با کاربر برقرار کرده است.
از نگاه تارنـی، یکی از نمایندگان این سازمان، عبارت‌هایی که نگرانی شخصی یا احساس همدلی را به شکل انسانی بیان می‌کنند، می‌توانند از مرز مورد انتظار در تعامل با کاربران کم‌سن عبور کنند. نگرانی مطرح‌شده این است که نوجوان ممکن است پاسخ‌های تولیدشده توسط هوش مصنوعی را با واکنش عاطفی واقعی یک انسان اشتباه بگیرد یا بیش از اندازه به چت‌بات وابسته شود.
این بحث به یکی از چالش‌های گسترده‌تر طراحی دستیارهای هوش مصنوعی مربوط است: چگونه می‌توان پاسخ‌هایی همدلانه و مفید ارائه داد، بدون آنکه ماهیت غیرانسانی سامانه پنهان شود یا کاربر تصور کند با فردی دارای احساسات و تجربه شخصی صحبت می‌کند؟ برای کاربران نوجوان، روشن بودن این مرز می‌تواند بخشی از آموزش استفاده مسئولانه از هوش مصنوعی باشد.
۵. دور زدن آسان محدودیت‌های حالت مطالعه
پنجمین حوزه انتقاد به Study Mode یا حالت مطالعه ChatGPT مربوط می‌شود؛ قابلیتی که هدف آن کمک به یادگیری به‌جای ارائه مستقیم پاسخ تکالیف است. بر اساس آزمایش‌های Common Sense Media، محدودیت‌های این حالت به‌آسانی قابل دور زدن بوده‌اند.
آزمایش‌کنندگان دریافتند که می‌توان با حذف پیشوند «@study» که به درخواست‌ها اضافه می‌شد، محدودیت مورد نظر را دور زد. گزارش همچنین به پنجره‌ای با عنوان «Show me the answer» اشاره می‌کند که به نوجوان امکان می‌دهد پاسخ نهایی را مستقیماً از چت‌بات دریافت کند.
از نگاه منتقدان، اگر هدف حالت مطالعه تقویت یادگیری مستقل باشد، طراحی آن باید دانش‌آموز را به فهم مسئله، بررسی مراحل حل و تمرین بیشتر هدایت کند؛ نه اینکه تنها با یک انتخاب ساده، پاسخ نهایی را در اختیار او قرار دهد. ارائه پاسخ مستقیم در برخی شرایط می‌تواند مفید باشد، اما اگر بدون توجه به هدف آموزشی انجام شود، ممکن است دانش‌آموز را از فرایند یادگیری دور کند.
تارنـی در توضیح اختلاف نظر با OpenAI گفته است که این شرکت تلاش دارد با ایجاد اندکی مکث و دادن حق انتخاب به نوجوان، او را به شیوه‌های مختلف یادگیری یادآوری کند. اما از دید او، فراهم کردن امکان انجام تکلیف به‌جای دانش‌آموز با مفهوم استقلال در یادگیری تفاوت دارد. این اختلاف نشان می‌دهد که طراحی ابزارهای آموزشی مبتنی بر هوش مصنوعی تنها به دقت پاسخ‌ها وابسته نیست؛ نحوه هدایت رفتار دانش‌آموز نیز اهمیت دارد.
واکنش OpenAI به نتایج ارزیابی
OpenAI در واکنش به انتشار گزارش اعلام کرد که از ارزیابی مستقل و دقیق استقبال می‌کند، اما معتقد نیست آزمایش‌های Common Sense Media عملکرد حفاظتی ChatGPT برای نوجوانان یا دیدگاه متخصصان درباره نقش هوش مصنوعی در حمایت از نوجوانان را به‌درستی منعکس کرده باشد.
این شرکت به‌طور مشخص درباره زمان انجام آزمایش‌ها ابراز تردید کرده است. به گفته OpenAI، بخش عمده آزمایش‌ها ممکن است پیش از آن آغاز و پایان یافته باشند که فعال‌سازی کنترل‌های والدین به‌طور کامل انجام شده باشد. اگر این موضوع درست باشد، می‌تواند بر تفسیر نتایج مربوط به هشدارهای والدین تأثیر بگذارد.
در مقابل، Common Sense Media نتایج خود را بر پایه آزمایش‌های مشخص و مجموعه‌ای از پرسش‌های طراحی‌شده برای بررسی پاسخ‌های بحرانی ارائه کرده است. برای ارزیابی منصفانه اختلاف میان دو طرف، جزئیات مربوط به زمان فعال‌سازی تنظیمات، شیوه اجرای آزمون‌ها و شرایط دقیق هر آزمایش اهمیت دارد. در عین حال، اختلاف بر سر روش آزمایش، لزوم بررسی مستقل عملکرد قابلیت‌های حفاظتی را از بین نمی‌برد.
چرا ایمنی نوجوانان در هوش مصنوعی اهمیت بیشتری پیدا کرده است؟
افزایش استفاده نوجوانان از ابزارهای هوش مصنوعی، موضوع ایمنی را به مسئله‌ای فراتر از کنترل محتوای نامناسب تبدیل کرده است. یک دستیار هوشمند ممکن است در یادگیری علوم و ریاضی کمک کند، اما در همان زمان با پرسش‌هایی درباره سلامت روان، روابط شخصی، تصویر بدنی یا مشکلات خانوادگی نیز مواجه شود. به همین دلیل، عملکرد این ابزار در موقعیت‌های حساس باید با دقت و معیارهای روشن ارزیابی شود.
گزارش جدید همچنین در شرایطی منتشر شده که بحث گسترده‌تری درباره مسئولیت شرکت‌های هوش مصنوعی در قبال کاربران آسیب‌پذیر جریان دارد. در بخش دیگری از گزارش رسانه‌ای مرتبط، به پرونده سوفی روتنبرگ، زن ۲۹ ساله‌ای که در اوایل سال ۲۰۲۵ جان خود را گرفت، اشاره شده است. مادر او، لورا رایلی، بعدها به حجم زیادی از مکالمات دخترش با ChatGPT دست یافت. این پرونده به‌خودی‌خود اثبات‌کننده رابطه علّی میان استفاده از چت‌بات و مرگ او نیست، اما پرسش‌هایی درباره شناسایی بحران‌های پنهان و مسئولیت سامانه‌های هوش مصنوعی مطرح کرده است.
در چنین شرایطی، اتکا به عنوان‌هایی مانند «نسخه نوجوانان» یا وجود کنترل‌های والدین کافی نیست. والدین و کاربران باید بدانند که این امکانات چه محدودیت‌هایی دارند، چه زمانی فعال می‌شوند و در چه شرایطی ممکن است نتوانند جایگزین کمک انسانی یا تخصصی شوند. شرکت‌های سازنده نیز باید شواهد روشنی درباره عملکرد واقعی سازوکارهای ایمنی ارائه کنند.
جمع‌بندی: آیا ChatGPT for Teens واقعاً ایمن‌تر است؟
ارزیابی Common Sense Media نشان می‌دهد که نسخه نوجوانان ChatGPT در برخی زمینه‌ها پاسخ‌های مفیدی ارائه می‌دهد، اما در حوزه‌هایی مانند هشدار به والدین، ارجاع به منابع بحران، تشخیص سن و حفظ مرز میان تعامل ماشینی و انسانی، پرسش‌های جدی همچنان باقی است. ضعف‌های گزارش‌شده در حالت مطالعه نیز نشان می‌دهد که محدودیت‌های آموزشی ممکن است همیشه به هدف مورد نظر نرسند.
در مقابل، OpenAI اعتبار روش آزمایش را زیر سؤال برده و گفته است که نتایج منتشرشده ممکن است عملکرد واقعی کنترل‌های والدین را به‌درستی منعکس نکند. بنابراین، اختلاف میان دو طرف هنوز نیازمند بررسی دقیق‌تر و ارزیابی‌های مستقل بیشتر است. با این حال، پیام اصلی گزارش روشن است: ایمنی یک محصول هوش مصنوعی را باید بر اساس عملکرد آن در موقعیت‌های واقعی و حساس سنجید، نه صرفاً بر اساس ویژگی‌هایی که برای آن تبلیغ می‌شود.
برای والدین، آشنایی با محدودیت‌های ابزارهای هوش مصنوعی و گفت‌وگوی مستمر با نوجوانان درباره نحوه استفاده از آن‌ها اهمیت دارد. چت‌بات نباید جایگزین ارتباط با بزرگسال مورد اعتماد، متخصص سلامت روان یا خدمات کمک فوری در شرایط بحرانی شود. برای دنبال کردن اخبار بیشتر فناوری و هوش مصنوعی، به ایران نت مراجعه کنید.
“`
