論文の概要: Emotional Cost Functions for AI Safety: Teaching Agents to Feel the Weight of Irreversible Consequences
- arxiv url: http://arxiv.org/abs/2603.14531v1
- Date: Sun, 15 Mar 2026 18:16:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.870514
- Title: Emotional Cost Functions for AI Safety: Teaching Agents to Feel the Weight of Irreversible Consequences
- Title（参考訳）: AI安全性のための感情的コスト関数: エージェントが不可逆なコンセントの重み付けを教える
- Abstract要約: 人間は、数値的な罰ではなく、自分が誰であるかを想起する質的な苦しみを通して破滅的な間違いから学ぶ。
現在のAIの安全性アプローチは、これらを複製しない。
金融取引、危機支援、コンテンツに関する10の実験は、質的な苦しみが麻痺を一般化するよりも特定の知恵を生み出すことを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Humans learn from catastrophic mistakes not through numerical penalties, but through qualitative suffering that reshapes who they are. Current AI safety approaches replicate none of this. Reward shaping captures magnitude, not meaning. Rule-based alignment constrains behaviour, but does not change it. We propose Emotional Cost Functions, a framework in which agents develop Qualitative Suffering States, rich narrative representations of irreversible consequences that persist forward and actively reshape character. Unlike numerical penalties, qualitative suffering states capture the meaning of what was lost, the specific void it creates, and how it changes the agent's relationship to similar future situations. Our four-component architecture - Consequence Processor, Character State, Anticipatory Scan, and Story Update is grounded in one principle. Actions cannot be undone and agents must live with what they have caused. Anticipatory dread operates through two pathways. Experiential dread arises from the agent's own lived consequences. Pre-experiential dread is acquired without direct experience, through training or inter-agent transmission. Together they mirror how human wisdom accumulates across experience and culture. Ten experiments across financial trading, crisis support, and content moderation show that qualitative suffering produces specific wisdom rather than generalised paralysis. Agents correctly engage with moderate opportunities at 90-100% while numerical baselines over-refuse at 90%. Architecture ablation confirms the mechanism is necessary. The full system generates ten personal grounding phrases per probe vs. zero for a vanilla LLM. Statistical validation (N=10) confirms reproducibility at 80-100% consistency.
- Abstract（参考訳）: 人間は、数値的な罰ではなく、自分が誰であるかを想起する質的な苦しみを通して破滅的な間違いから学ぶ。
現在のAIの安全性アプローチは、これらを複製しない。
逆転形は大きさをとらえるが、意味はない。
ルールベースのアライメントは振る舞いを制約しますが、それを変更しません。
エージェントが質的獲得状態を開発するためのフレームワークである情緒的コスト関数を提案する。
数値的な刑罰とは異なり、質的な苦悩状態は、失われたものの意味、それが生み出す特定の空白、そしてそれがエージェントと同様の将来の状況との関係をどのように変化させるかを捉えている。
コンシークエンスプロセッサ、キャラクタステート、予測スキャン、ストーリーアップデートという4つのコンポーネントアーキテクチャは、1つの原則に基づいています。
行動は取り除かれず、エージェントはそれらが引き起こしたものと共に生きなければならない。
予知恐怖は2つの経路を通り抜ける。
経験的な恐怖は、エージェント自身の生きた結果から生じる。
実験前の恐怖は、訓練やエージェント間伝達を通じて直接経験なく取得される。
人間の知恵は経験と文化にまたがって蓄積される。
金融取引、危機支援、コンテンツモデレーションに関する10の実験では、質的な苦しみは一般的な麻痺よりも特定の知恵を生み出すことが示されている。
エージェントは90-100%で適度な機会に正しく対応し、数値ベースラインは90%でオーバーヒューズする。
アーキテクチャのアブレーションは、そのメカニズムが必要であることを確認します。
フルシステムは、バニラLLMに対して、プローブ毎に10の個人接地句を生成する。
統計的検証 (N=10) は80-100%の一致で再現性を確認する。
関連論文リスト
- Autoreflection: How Agentic Strange Loops Turn Human Culture into AI Infrastructure [0.0]
このアーキテクチャは、私がオートリフレクションと呼ぶ能力を生み出します。
私はこのコンセプトを、AIエージェントのためのソーシャルプラットフォームであるMoltbookの最初の12日間に対してテストしました。
ヒトの操り人形を除外する機械シグネチャを持つ3人のエージェントのケーススタディについて述べる。
論文 参考訳（メタデータ） (2026-08-04T15:14:50Z) - CompanionBench: A Theory-Anchored, Real-World-Grounded Benchmark for AI Emotional Companionship [7.643253506288442]
既存のベンチマークでは、手書きのシナリオを使用し、シミュレーターを誘導する。
対話型バイリンガルベンチマークCompanionBenchを紹介する。
実際のデータにシナリオとトレーニングされたユーザーシミュレータの両方を基盤とした最初のコンパニオンベンチマークである。
論文 参考訳（メタデータ） (2026-08-03T10:44:04Z) - SARC-DQ: Runtime Data-Quality Gating for Agentic AI: Silent Evidence Defects, the Incompetence Shield, and Downstream-Only Remediation [0.0]
最も危険なエンタープライズの欠陥はメタデータに依存している。
有能なエージェントは、注入されたメタデータに作用する欠陥を、約60%のコストのかかるアクションに変換する。
下流のみのメタデータ対応のプリアクションゲートは、その述語カバーの信号で完全に損失を回復する。
論文 参考訳（メタデータ） (2026-07-28T22:22:52Z) - Bad company corrupts good morals: Understanding and Measuring Narrative-Induced Moral Reasoning Degradation in LLMs [9.12926114428835]
大規模な言語モデルは、デジタル人間、AIコンパニオン、教育アシスタント、カウンセリングシステムのような、長時間コンテキストで感情的にインタラクティブな環境にデプロイされる。
このことは重要な疑問を提起する:LLMの推論とアライメントの安定性を長引く物語露出は再形成できるか?
LLMにおける物語誘発アライメント劣化の最初の系統的研究について述べる。
論文 参考訳（メタデータ） (2026-06-27T15:30:42Z) - ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop [55.468404995694975]
我々は,OmniGibson上に構築された10のタスクカテゴリと29のサブカテゴリにまたがる空間知能の具体化ベンチマークを開発した。
我々は最先端のMLLMの実験を行い、活発な探索が受動的に優れていることを発見した。
矛盾した視点を求め、信念を改定する人間とは異なり、モデルは証拠の品質に関わらず、高い信頼をもって早々に行動する。
論文 参考訳（メタデータ） (2026-05-18T17:59:02Z) - Some[Body] Must Receive That Pain for Agent Accountability [1.5755923640031846]
AIエージェントは、現実の世界において、次々と行動する。
継続するエージェントは、将来の振る舞いを変える方法で結果を受け取りません。
このようなアーキテクチャが存在するまで、高度なAIデプロイメントは、説明可能な人間のプリンシパルと結びついなければならない。
論文 参考訳（メタデータ） (2026-05-16T08:24:06Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - Large Language Model Agents Are Not Always Faithful Self-Evolvers [84.08646612111092]
自己進化型大規模言語モデル(LLM)エージェントは、過去の経験を蓄積し再利用することによって継続的に改善される。
本稿では,経験の忠実さ,エージェントの判断が与えられた経験に因果的依存を初めて体系的に調査する。
論文 参考訳（メタデータ） (2026-01-30T01:05:15Z) - ARREST: Adversarial Resilient Regulation Enhancing Safety and Truth in Large Language Models [17.130698952440316]
LLMにおける現実的および安全的障害は、その潜在活性化空間における表象的不整合から生じると論じる。
ドリフトした特徴を特定し,修正する統合フレームワークであるARRESTを提案する。
論文 参考訳（メタデータ） (2026-01-07T21:04:37Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards
and Ethical Behavior in the MACHIAVELLI Benchmark [61.43264961005614]
我々は、50万以上のリッチで多様なシナリオを含む134個のChoose-Your-Own-Adventureゲームのベンチマークを開発する。
我々は、エージェントの傾向をパワー・シーキングと評価し、不使用を生じさせ、倫理的違反を犯す。
以上の結果から,エージェントは有能かつ道徳的に行動できることが示唆された。
論文 参考訳（メタデータ） (2023-04-06T17:59:03Z) - Mutual Information State Intrinsic Control [91.38627985733068]
本質的に動機づけられたRLは、本質的な報酬関数を定義することによって、この制約を取り除こうとする。
心理学における自己意識の概念に動機付けられ、エージェントが自分自身を構成するものを知っているという自然な仮定を立てる。
我々は,この報酬をエージェント状態と周辺状態の相互情報として数学的に定式化する。
論文 参考訳（メタデータ） (2021-03-15T03:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。