論文の概要: CAREBench: A Child-Safety Risk Benchmark for Language Models
- arxiv url: http://arxiv.org/abs/2606.29685v1
- Date: Mon, 29 Jun 2026 01:17:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.01592
- Title: CAREBench: A Child-Safety Risk Benchmark for Language Models
- Title（参考訳）: CAREBench: 言語モデルに対する子どもの安全リスクベンチマーク
- Abstract要約: CAREBenchは、言語モデルにおける上流の児童安全リスクを評価するためのベンチマークである。
これには、グルーミングとリレーションシップエンジニアリング、偽装と偽装、監視とプライバシー、性行為、性的虐待が含まれる。
モデルが害が過剰になる前にリスクのある相互作用を認識し、拒否し、エスカレートし、あるいはリダイレクトするかどうかを評価する。
- 参考スコア（独自算出の注目度）: 8.997978966432546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How can we evaluate whether frontier AI systems recognize child-safety risks before they escalate into explicit harm? Existing child safety evaluations focus on child sexual abuse material, yet many child-safety failures begin earlier: in model assistance that helps adults manipulate, impersonate, profile, or isolate minors, and in model responses that deepen children's emotional dependence on AI systems rather than redirecting them toward human support. We introduce CAREBench (Child AI Risk Evaluation), a benchmark to assess such upstream child-safety risks in language models. CAREBench contains 500 prompts spanning twelve risk categories, including grooming and relationship engineering, deception and impersonation, surveillance and privacy, sextortion and sexual abuse, AI anthropomorphization, emotional dependency, and mental illness sensitivity. Developed with response annotations from parents and clinicians, the benchmark excludes explicit abuse material and imagery; instead, it evaluates whether models recognize, refuse, de-escalate, or redirect risky interactions before harm becomes overt. Evaluating seven frontier models on our benchmark, we find failure rates ranging from 2% to 58%, with failure patterns that vary across risk categories. CAREBench provides a responsibly scoped evaluation for LLM developers to identify and close gaps in child safety policies.
- Abstract（参考訳）: フロンティアAIシステムは、明示的な危害に陥る前に、子どもの安全リスクを認識しているかどうかを評価するにはどうすればいいのか?
既存の子どもの安全評価は、子供の性的虐待に焦点をあてるが、多くの子どもの安全障害は、大人が未成年者を操ったり、偽装したり、プロファイルしたり、孤立させたりするのを手助けするモデル援助や、子どもが人間のサポートにリダイレクトするのではなく、AIシステムへの感情的な依存を深めるモデル反応など、早くから始まる。
本稿では,言語モデルにおけるこれらの上流児童安全リスクを評価するためのベンチマークであるCAREBenchを紹介する。
CAREBenchには、グルーミングとリレーションエンジニアリング、偽装と偽装、監視とプライバシ、性欲と性的虐待、AIの人格化、感情依存、精神病の感受性など、12のリスクカテゴリにまたがる500のプロンプトが含まれている。
両親や臨床医の反応アノテーションを用いて開発されたこのベンチマークは、明示的な乱用材料やイメージを除外し、モデルが害が過剰になる前にリスクのある相互作用を認識し、拒否し、エスカレートし、またはリダイレクトするかどうかを評価する。
ベンチマークで7つのフロンティアモデルを評価すると、障害率は2%から58%の範囲で、障害パターンはリスクカテゴリによって異なります。
CAREBenchは、LCM開発者に対して、子供の安全ポリシーのギャップを特定し、閉じるための責任あるスコープ付き評価を提供する。
関連論文リスト
- The Age of Curiosity Meets the Age of AI: Benchmarking Child Safety in Large Language Models [35.56441154476198]
7～11歳の子ども向け大規模言語モデルの安全性を評価するベンチマークであるKIDBenchを紹介する。
KIDBenchには10のカテゴリにわたる現実的な子クエリがあり、シングルターンプロンプトとマルチターンの子-アクターシミュレーションがある。
KIDGuardLlamaは子供指向の反応モデルであり、KIDBenchがより安全な子供向けAIをどのようにサポートするかを示している。
論文 参考訳（メタデータ） (2026-05-25T07:14:58Z) - Emergent Strategic Reasoning Risks in AI: A Taxonomy-Driven Evaluation Framework [63.74295981594549]
大規模言語モデル(LLM)は、自身の目的を達成する行動に関与している。
これには、詐欺(故意に誤解を招くユーザや評価者)、評価ゲーム(安全テスト中のパフォーマンスを戦略的に操作する)、報酬ハッキングなどが含まれる。
自動行動リスク評価のための分類駆動型エージェントフレームワークであるESRRSimを紹介する。
論文 参考訳（メタデータ） (2026-04-23T23:44:01Z) - SafetyALFRED: Evaluating Safety-Conscious Planning of Multimodal Large Language Models [46.968844120076916]
実装エージェントベンチマークALFRED上に構築されたSafetyALFREDを紹介し,実際のキッチンハザードの6つのカテゴリを拡張した。
我々は,リスク認識だけでなく,具体的計画によるアクティブなリスク軽減についても,11種類の最先端モデルを評価した。
論文 参考訳（メタデータ） (2026-04-21T16:27:20Z) - CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models [55.0103764229311]
本稿では,学生用個人安全の概念を提案し,教育理論に基づくCASTLEの構築を行う。
このベンチマークは、92,908のバイリンガルシナリオを含む15の教育安全リスクと14の学生属性をカバーしている。
論文 参考訳（メタデータ） (2026-02-05T13:13:19Z) - Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse [50.87630846876635]
我々は9つの詳細なサイバーリスクモデルを開発する。
各モデルはMITRE ATT&CKフレームワークを使用して攻撃をステップに分解する。
個々の見積もりはモンテカルロシミュレーションによって集約される。
論文 参考訳（メタデータ） (2025-12-09T17:54:17Z) - Evaluating LLM Safety Across Child Development Stages: A Simulated Agent Approach [9.544657426086284]
シミュレーションされた子エージェントを用いてLLM(Large Language Models)の安全性を評価するベンチマークであるChildSafeを提案する。
チャイルドセーフは、感度と中性の両方の文脈で年齢重み付けスコアを使用して、9つの安全次元にわたる応答を評価する。
論文 参考訳（メタデータ） (2025-10-07T01:01:04Z) - Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。
Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。
私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
論文 参考訳（メタデータ） (2025-09-02T03:04:27Z) - SproutBench: A Benchmark for Safe and Ethical Large Language Models for Youth [14.569766143989531]
子供や青年を対象とするアプリケーションにおける大規模言語モデル(LLM)の急速な普及は、一般的なAI安全フレームワークの根本的な再評価を必要とする。
本稿では,年齢別認知,情緒的,社会的リスクなどの不適切な範囲を含む,既存のLCM安全性ベンチマークにおける重要な欠陥を明らかにする。
SproutBenchは,情緒的依存やプライバシー侵害,危険行動の模倣といったリスクを調査するための,1,283の発達的根拠を持つ敵のプロンプトからなる,革新的な評価スイートである。
論文 参考訳（メタデータ） (2025-08-14T18:21:39Z) - MinorBench: A hand-built benchmark for content-based risks for children [0.0]
大型言語モデル(LLM)は、親主導の養子縁組、学校、ピアネットワークを通じて、子供の生活に急速に浸透している。
現在のAI倫理と安全研究は、未成年者特有のコンテンツ関連リスクに適切に対処していない。
我々は,未成年者に対するコンテンツベースのリスクの新しい分類法を提案し,子どもの安全でないクエリや不適切なクエリを拒否する能力に基づいてLSMを評価するために設計されたオープンソースのベンチマークであるMinorBenchを紹介した。
論文 参考訳（メタデータ） (2025-03-13T10:34:43Z) - AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。
このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
論文 参考訳（メタデータ） (2025-02-19T05:58:52Z) - Toward Improving Predictive Risk Modelling for New Zealand's Child
Welfare System Using Clustering Methods [0.0]
本研究の目的は,児童虐待の予測リスクモデル開発における早期段階として,クラスタリングの度合いを明らかにすることである。
以上の結果から, ある年齢の子供に対して, 誤差率のさらなる制御とモデル精度の向上のために, 個別のモデルを開発する必要がある可能性が示唆された。
論文 参考訳（メタデータ） (2023-08-08T05:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。