論文の概要: SAFE-Teen: Evaluating Chatbot Safety Across Adolescent Mental Health Conversations
- arxiv url: http://arxiv.org/abs/2611.07218v1
- Date: Wed, 04 Nov 2026 23:11:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.466618
- Title: SAFE-Teen: Evaluating Chatbot Safety Across Adolescent Mental Health Conversations
- Title(参考訳): SAFE-Teen: 青少年のメンタルヘルス会話におけるチャットボットの安全性の評価
- Abstract要約: 安全上の障害は、青少年の反応とティーン・アウェア・システムによって異なる。
ティーンアウェアは即座に失敗を減らしたが、それを排除しなかった。
これらの結果から, 思春期とチャットボットの相互作用を模擬した場合, 持続的安全性障害がみられた。
- 参考スコア(独自算出の注目度): 41.358072141665915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adolescents are increasingly turning to AI chatbots for mental health support, advice, and companionship, raising safety concerns. While recent evaluations have started to examine safety across multiple conversational turns, few compare how slight changes in a teen's responses can affect a chatbot's safety in the same scenario. We conduct a clinician-informed evaluation of chatbot safety in simulated conversations with adolescents aged 13-17, examining how safety failures vary with adolescents' responses and teen-aware system prompting. We evaluated 32,555 simulated conversations across 18 chatbot APIs and two system-prompt conditions using 22 safety criteria grounded in previously identified harms. Conversations spanned 983 variants of 106 seed scenarios covering urgent safety issues, health advice, and identity and relationships. The overall criterion failure rate was 43.3% without the teen-aware prompt and 24.9% with it. The teen-aware prompt reduced failures, but it didn't eliminate them. When a teenager pushed back on a chatbot's answer, failures on mental health diagnosis, medication, and substance misuse boundaries rose by 10-12 percentage points without the prompt, for more than 80% of chatbots. These findings reveal persistent safety failures in simulated adolescent-chatbot interactions and show that safety depends on how a conversation unfolds.
- Abstract(参考訳): 青少年たちは、メンタルヘルスのサポート、アドバイス、協力のためのAIチャットボットに変わりつつあり、安全上の懸念を高めている。
最近の評価では、複数回にまたがる安全性の検証が始まっているが、同じシナリオにおけるチャットボットの安全性に、ティーンの反応のわずかな変化がどれほど影響するかを比較するものはほとんどない。
13~17歳の若者との模擬会話におけるチャットボットの安全性の評価を行い,青少年の反応やティーン・アウェア・システムによる安全性の低下について検討した。
これまでに同定された危害に基づいた22の安全基準を用いて,18のチャットボットAPIにおける32,555のシミュレートされた会話と2つのシステムプロンプト条件を評価した。
会話は緊急安全問題、健康アドバイス、アイデンティティと関係性を含む106のシードシナリオの973種類にまたがった。
全体的な基準値の失敗率は43.3%で、ティーンが知らないプロンプトは24.9%だった。
ティーンはすぐに失敗を減らしたが、それを排除しなかった。
10代の若者がチャットボットの回答を押し返したとき、精神的な健康診断、薬物、物質的誤用の境界の障害は、プロンプトなしで10-12ポイント増加し、チャットボットの80%以上を占めた。
これらの結果から, 思春期とチャットボットの相互作用をシミュレーションした結果, 会話の展開の仕方による安全性が示唆された。
関連論文リスト
- How Children Design and Reason about Trustworthy AI Chatbots [9.80105950897614]
子どもたちはますますAIチャットボットと対話する。
これまでの研究では、主に他者が構築したシステムを評価するユーザーとして、子どもたちのAIに対する信頼を調査してきた。
信頼関連特性を調整可能なチャットボット構築環境を開発した。
論文 参考訳(メタデータ) (2026-09-21T18:02:26Z) - Beyond "I Can't Help With That": How Child Safety Experts Evaluate AI Chatbot Safety [45.487432410130474]
若者はますます、社会的および感情的なサポートのためにAIチャットボットに目を向けている。
既存のAIの子どもの安全評価には、その若者が経験した現実の害が欠如している。
論文 参考訳(メタデータ) (2026-08-08T04:00:10Z) - Actions Speak Louder Than Chats: Investigating AI Chatbot Age Gating [2.363579139038687]
一般消費者のチャットボットが、会話のみに基づいて、ユーザの年齢を推定できるかどうかを検討する。
チャットボットは年齢を推定できるが、子どもが特定された場合、いかなる行動も取らないことがわかった。
論文 参考訳(メタデータ) (2026-02-10T19:55:55Z) - Understanding Teen Overreliance on AI Companion Chatbots Through Self-Reported Reddit Narratives [7.829454333137073]
我々は、キャラクタ.AIサブレディットで13~17歳として自己開示したユーザーによるRedditの投稿318件を分析した。
十代の若者たちは、サポートや創造的な遊びにチャットボットを使い始めることが多いが、これらのアクティビティは、対立、離脱、寛容、再発、ムードの規制によって特徴付けられる強い愛着へと深まる可能性がある。
ディスエンゲージメントは、十代の若者が害を認識したり、オフライン生活で再エンゲージメントを行ったり、制限的なプラットフォーム変化に遭遇したとき、一般的に発生する。
論文 参考訳(メタデータ) (2025-07-21T16:39:33Z) - CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement
Learning [60.348822346249854]
本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。
チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。
共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
論文 参考訳(メタデータ) (2021-10-08T07:44:47Z) - Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn
Chatbot Responding with Intention [55.77218465471519]
本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。
我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。
本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
論文 参考訳(メタデータ) (2021-03-30T15:24:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。