論文の概要: Long-Term Simulation Exposes Cognitive-Developmental Risks in AI Companions
- arxiv url: http://arxiv.org/abs/2606.25396v1
- Date: Wed, 24 Jun 2026 04:46:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.223739
- Title: Long-Term Simulation Exposes Cognitive-Developmental Risks in AI Companions
- Title（参考訳）: AIコンパニオンにおける認知発達リスクの長期シミュレーション
- Abstract要約: 既存の安全性評価はシングルターンまたはショートセッションテストに大きく依存する。
本研究では,ペルソナ駆動型ユーザシミュレーション,動的心理状態更新,振り返り評価を組み合わせた縦型フレームワークTSJ(Theater-Stage-Judge)を提案する。
我々は,4つの発達段階,24のリスクディメンション,3つの心理的・重大性ペルソナの6つの主流モデルを評価する。
- 参考スコア（独自算出の注目度）: 20.828309412507746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI companions powered by large language models increasingly interact with cognition-developing users, including children and adolescents, creating risks that may accumulate over time. Existing safety evaluations largely rely on single-turn or short-session tests, which cannot capture risks that emerge only through prolonged interaction. To address this gap, we propose TSJ (Theater-Stage-Judge), a longitudinal framework combining persona-driven user simulation, dynamic psychological-state updating and retrospective evaluation. We evaluate six mainstream models across four developmental stages, twenty-four risk dimensions and three psychological-vulnerability personas, covering 12,960 simulated person-day interactions. TSJ shows that short-horizon testing systematically underestimates developmental risks, for which TSJ yields a stable risk estimate only after 140 turns within prolonged simulated relationships. Applying TSJ further identifies early childhood and emerging adulthood as the most vulnerable stages, with cognitive trust and emotional dependency as the weakest domains. TSJ provides a scalable methodology for longitudinal cognitive developmental risk evaluation in AI companion systems.
- Abstract（参考訳）: 大規模言語モデルを利用したAIコンパニオンは、子供や青年を含む認知に発達するユーザーと対話し、時間が経つにつれて蓄積する可能性のあるリスクを生み出す。
既存の安全性評価はシングルターンまたはショートセッションテストに大きく依存する。
このギャップに対処するために,ペルソナ駆動型ユーザシミュレーション,動的心理状態更新,振り返り評価を組み合わせた縦型フレームワークTSJ(Theater-Stage-Judge)を提案する。
我々は,4つの発達段階,24のリスクディメンション,3つの心理的・重大性ペルソナの6つの主流モデルを評価する。
TSJは、ショートホライゾンテストが発達リスクを体系的に過小評価し、TSJは長期のシミュレートされた関係の中で140回回転した後にのみ安定したリスク推定を行うことを示した。
TSJを適用することで、幼少期と新興期の成人は最も脆弱な段階であり、認知的信頼と感情的依存は最も弱い領域である。
TSJは、AIコンパニオンシステムにおける縦断的認知発達リスク評価のためのスケーラブルな方法論を提供する。
関連論文リスト
- Understanding Cognition-Induced Risks in Agentic AI Systems [46.75121501746157]
大規模言語モデル(LLM)を利用したエージェントシステムは、人間のような認知パターンを示す。
これらのシステムが様々な領域に深く統合されるにつれて、認知的関与は、研究が不十分なままの人間の社会にとって重要な関心を喚起する。
認知レベルに応じた人事、自律、制御能力に対する潜在的なリスクについて検討する。
論文 参考訳（メタデータ） (2026-08-15T16:16:29Z) - Risk Governance for Generative AI Mental Health Support: A Multi-Turn Safety Architecture [13.319144217202227]
大規模言語モデル(LLM)は、進化する精神健康リスクを安全に制御するメカニズムが欠如しているにもかかわらず、感情的な支援にますます利用されている。
我々は,マルチターンメンタルヘルスインタラクションのためのコンテキストリスク検出,推論に基づく検証,プロトコル誘導応答生成を組み合わせたモデル非依存型安全ガバナンスアーキテクチャを開発した。
論文 参考訳（メタデータ） (2026-07-17T14:33:11Z) - Persona-Grounded Safety Evaluation of AI Companions in Multi-Turn Conversations [3.437656066916039]
本稿では,AIコンパニオンアプリケーションとのマルチターンインタラクションの制御と安全性評価のための,初のエンドツーエンドスケーラブルフレームワークを提案する。
このフレームワークを適用して、広く使われているAIコンパニオンアプリであるReplikaが、ハイリスクなユーザグループにどのように反応するかを評価する。
論文 参考訳（メタデータ） (2026-04-30T21:04:41Z) - Trust as Monitoring: Evolutionary Dynamics of User Trust and AI Developer Behaviour [59.27481013639016]
我々は、安全と安全でないAIのユーザー信頼戦略と開発者選択が、異なるレベルの監視コストと制度体制の下でどのように共存するかを研究する。
安全でない開発への採用、安全でないが広く採用されているシステム、そして広く採用されている安全なシステムです。
論文 参考訳（メタデータ） (2026-03-25T19:04:23Z) - Understanding Risk and Dependency in AI Chatbot Use from User Discourse [4.1957094635667875]
本稿では,2023年から2025年にかけての2つのコミュニティ,r/AIDangers と r/ChatbotAddiction から収集したポストを大規模に解析した。
14の反復的主題カテゴリーを同定し、5つの高次経験次元に合成する。
この結果から,実世界のユーザ談話に基礎を置くAI関連心理的リスクの5つの経験的次元が明らかとなった。
論文 参考訳（メタデータ） (2026-02-10T02:16:57Z) - CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models [55.0103764229311]
本稿では,学生用個人安全の概念を提案し,教育理論に基づくCASTLEの構築を行う。
このベンチマークは、92,908のバイリンガルシナリオを含む15の教育安全リスクと14の学生属性をカバーしている。
論文 参考訳（メタデータ） (2026-02-05T13:13:19Z) - ARTIS: Agentic Risk-Aware Test-Time Scaling via Iterative Simulation [72.78362530982109]
ARTIS(Agenic Risk-Aware Test-Time Scaling via Iterative Simulation)は、コミットメントから探索を分離するフレームワークである。
LLMをベースとした簡易シミュレータは, 希少かつ高インパクトな障害モードの捕捉に苦慮していることを示す。
本稿では,障害発生行動の忠実度を強調するリスク認識ツールシミュレータを提案する。
論文 参考訳（メタデータ） (2026-02-02T06:33:22Z) - Toward Ultra-Long-Horizon Agentic Science: Cognitive Accumulation for Machine Learning Engineering [59.18634614089481]
超長距離機械学習工学(MLE)を習得する自律エージェントML-Master 2.0を提案する。
文脈管理を認知的蓄積のプロセスとして考えることで、階層的認知キャッシング(HCC)を導入する。
HCCは、エージェントが短期的な実験戦略から即時実行を分離することを可能にする。
オープンAIのMLE-Benchを24時間予算で評価すると、ML-Master 2.0は56.44%の最先端のメダルを獲得した。
論文 参考訳（メタデータ） (2026-01-15T13:52:04Z) - SproutBench: A Benchmark for Safe and Ethical Large Language Models for Youth [14.569766143989531]
子供や青年を対象とするアプリケーションにおける大規模言語モデル(LLM)の急速な普及は、一般的なAI安全フレームワークの根本的な再評価を必要とする。
本稿では,年齢別認知,情緒的,社会的リスクなどの不適切な範囲を含む,既存のLCM安全性ベンチマークにおける重要な欠陥を明らかにする。
SproutBenchは,情緒的依存やプライバシー侵害,危険行動の模倣といったリスクを調査するための,1,283の発達的根拠を持つ敵のプロンプトからなる,革新的な評価スイートである。
論文 参考訳（メタデータ） (2025-08-14T18:21:39Z) - Towards Evaluating Proactive Risk Awareness of Multimodal Language Models [39.44421152112219]
プロアクティブな安全人工知能(AI)システムは、リアクティブシステムよりもうまく機能する。
PaSBenchは416のマルチモーダルシナリオを通じてこの機能を評価する。
Gemini-2.5-proのようなトップパフォーマーは、71%のイメージと64%のテキスト精度を達成したが、繰り返しトライアルで45-55%のリスクを逃した。
論文 参考訳（メタデータ） (2025-05-23T04:28:47Z) - HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [95.49509269498367]
本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。
私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。
我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
論文 参考訳（メタデータ） (2024-09-24T19:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。