論文の概要: Safe by Benchmark, Unsafe in Practice: Lessons from 1331 Child-Related AI Incidents

• arxiv url: http://arxiv.org/abs/2610.34705v1
• Date: Mon, 26 Oct 2026 01:50:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.677126
• Title: Safe by Benchmark, Unsafe in Practice: Lessons from 1331 Child-Related AI Incidents
• Title（参考訳）: ベンチマークによる安全、安全でない実践:1331年の児童関連AIインシデントから学んだこと
• Abstract要約: 個々の子供に対するハームは、しばしば集団レベルの害と結びつき、システムと相互作用しない子供に届く。 我々の分析によると、公共の報告で最も多い害はどれか、個人レベルと人口レベルの被害はどのように関連しているか、どの障害が害と共にコード化されているかが明らかになっている。
• 参考スコア（独自算出の注目度）: 3.688590279558212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI systems are increasingly present in children's everyday environments: education, entertainment, social networks, and toys. Their safety is typically assessed at the model level, through benchmarks, red-teaming, and content filtering. However, most AI harm taxonomies lack child-specific evidence and under-specify developmental harm and the stakeholder asymmetries unique to minors. Building on prior taxonomies, we construct a child-centered harm taxonomy mapped to sociotechnical failure modes. We curate and code 1331 publicly reported child-related AI incidents, annotating internal and external harm types and the failure mode implicated in each incident. Our analysis reveals which harms are most prevalent in public reporting, how individual-level and population-level harms relate, and which failures are most often coded alongside harm. We find that harm concentrates in representational, dignity-related, and psychological categories, and co-occurs most often with deployment-context, governance, and misuse failures rather than model defects. Harm to an individual child is also frequently linked to population-level harm, reaching children who never interacted with the system. These findings suggest that model-level evaluations, while necessary, cannot by themselves anticipate the harm pathways most often documented for children. We conclude with actionable implications emphasizing mitigations beyond model-level safeguards such as content filtering: age assurance, consent verification for depiction, safety-by-design UX constraints, incident disclosure norms, and auditing regimes targeting developmental risk. Privacy-minimized annotations, a codebook, and documentation are available at https://github.com/The-Responsible-AI-Initiative/KidAID.
• Abstract（参考訳）: AIシステムは、教育、エンターテイメント、ソーシャルネットワーク、おもちゃといった、子供の日常の環境にますます存在する。 それらの安全性は一般的に、ベンチマーク、リピート、コンテンツフィルタリングを通じてモデルレベルで評価される。 しかし、ほとんどのAIは、子供特有の証拠を欠き、発達上の危害を過小評価し、利害関係者は未成年者特有の非対称性を欠いている。 従来の分類学に基づいて、我々は社会技術的失敗モードにマッピングされた児童中心の有害分類学を構築した。 我々は、児童関連AIインシデントを公に報告した1331をキュレートし、コードし、各インシデントに関連する内部および外部の害タイプと障害モードを注釈付けする。 我々の分析によると、公共の報告で最も多い害はどれか、個人レベルと人口レベルの被害はどのように関連しているか、どの障害が害と共にコード化されているかが明らかになっている。 害は表現的、尊厳的、心理的なカテゴリに集中しており、最も多くは、モデル欠陥よりもデプロイメントコンテキスト、ガバナンス、誤用障害に関係しています。 個々の子供へのハームは、しばしば集団レベルの害と結びつき、システムと相互作用しない子供に届く。 これらの結果から, モデルレベルの評価は, 子どもにとって最も多く記録される害経路を, 自分では予測できないことが示唆された。 コンテンツフィルタリング, 年齢保証, 描写に対する同意確認, 設計上のUX制約, インシデント開示規範, 発達的リスクをターゲットとした監査体制など, モデルレベルの保護以上の緩和を強調した実践的な含意を結論付ける。 プライバシを最小化したアノテーション、コードブック、ドキュメントはhttps://github.com/The-Responsible-AI-Initiative/KidAIDで公開されている。

関連論文リスト

• CAREBench: A Child-Safety Risk Benchmark for Language Models [8.997978966432546]
  CAREBenchは、言語モデルにおける上流の児童安全リスクを評価するためのベンチマークである。 これには、グルーミングとリレーションシップエンジニアリング、偽装と偽装、監視とプライバシー、性行為、性的虐待が含まれる。 モデルが害が過剰になる前にリスクのある相互作用を認識し、拒否し、エスカレートし、あるいはリダイレクトするかどうかを評価する。
  論文  参考訳（メタデータ） (2026-06-29T01:17:41Z)
• PluriHarms: Benchmarking the Full Spectrum of Human Judgments on AI Harm [39.043933213898136]
  現在のAI安全フレームワークは、有害性をバイナリとして扱うことが多いが、人間が同意しない境界的なケースを扱う柔軟性は欠如している。 PluriHarmsは、2つの重要な次元にわたる人間の害判定を研究するために設計されたベンチマークである。 我々のスケーラブルなフレームワークは、人間のデータによって検証された高い不一致率のケースをターゲットにしながら、多様なAIの害や人間の価値を捉えるプロンプトを生成する。
  論文  参考訳（メタデータ） (2026-01-13T19:41:11Z)
• Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models [93.5740266114488]
  コンストラクティブ・セーフティ・アライメント(CSA)は、悪意のある誤用を防ぎつつ、脆弱性のあるユーザを安全で有益な結果へと積極的に誘導する。 Oy1は、高度な汎用能力を保ちながら、オープンモデル間の最先端の安全性を達成する。 私たちは、責任あるユーザ中心AIをサポートするために、Oy1、コード、ベンチマークをリリースしています。
  論文  参考訳（メタデータ） (2025-09-02T03:04:27Z)
• SproutBench: A Benchmark for Safe and Ethical Large Language Models for Youth [14.569766143989531]
  子供や青年を対象とするアプリケーションにおける大規模言語モデル(LLM)の急速な普及は、一般的なAI安全フレームワークの根本的な再評価を必要とする。 本稿では,年齢別認知,情緒的,社会的リスクなどの不適切な範囲を含む,既存のLCM安全性ベンチマークにおける重要な欠陥を明らかにする。 SproutBenchは,情緒的依存やプライバシー侵害,危険行動の模倣といったリスクを調査するための,1,283の発達的根拠を持つ敵のプロンプトからなる,革新的な評価スイートである。
  論文  参考訳（メタデータ） (2025-08-14T18:21:39Z)
• Safe-Child-LLM: A Developmental Benchmark for Evaluating LLM Safety in Child-LLM Interactions [8.018569128518187]
  子ども(7～12歳)と青年(13～17歳)の2つの発達段階において,AIの安全性を評価するためのベンチマークとデータセットであるSafe-Child-LLMを紹介した。 我々のフレームワークは、赤チームコーパスからキュレートされた200の敵のプロンプトからなる新しい多部データセットと、ジェイルブレイク成功のための人名ラベルと、標準化された0-5の倫理的拒絶尺度を含む。 ChatGPT、Claude、Gemini、LLaMA、DeepSeek、Grok、Vicuna、Mistralを含む主要なLCMを評価することで、子供向けシナリオにおける重大な安全性の欠陥が明らかになった。
  論文  参考訳（メタデータ） (2025-06-16T14:04:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。