論文の概要: Moral Competence Before Moral Content: Why LLM Agents Lack the Prerequisites for Coherent Alignment
- arxiv url: http://arxiv.org/abs/2609.05036v1
- Date: Fri, 04 Sep 2026 11:56:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.026692
- Title: Moral Competence Before Moral Content: Why LLM Agents Lack the Prerequisites for Coherent Alignment
- Title（参考訳）: モラル・コンテント前のモラル・コンピテンス:なぜLLMエージェントはコヒーレント・アライメントの前提条件を欠いているのか
- Abstract要約: 価値多重性の下では、正しいターゲットは存在しないが、共有の前提条件は、システムの振る舞いが一貫性のあるポリシーを表現することである。
このようなコヒーレントな政策に4つの構造条件を導入する。
3つのデプロイメントで一貫性のあるポリシを表現しているモデルはありません。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI alignment requires AI systems to adhere to human norms, values, or intentions. Under value pluralism there is no correct target, but a shared prerequisite is that the system's behavior expresses a coherent policy: a mapping from situations to verdicts that is invariant while a situation's morally relevant features are preserved, and sensitive when they change. We introduce four structural conditions for such coherent policies: verdict stability, monotonicity, decisiveness, and Pareto viability. Together they measure a form of moral competence that is evaluable from behavior alone, without reference to a moral standard or expert baseline, forming a structural floor for alignment rather than a normative target. We demonstrate the methodology on three simulated deployments featuring LLM-based agents facing moral dilemmas. Evaluating nine frontier models under a factorial design of five paraphrases, five escalation levels, and three dominance conditions, we show no model expresses a coherent policy across the three deployments: surface-form perturbation alone produces verdict-rate shifts of up to $99$ percentage points at a single escalation level, and a model's success on one scenario does not predict its competence on another. This suggests LLM-based agents are not currently the kind of object to which alignment can meaningfully apply.
- Abstract（参考訳）: AIアライメントには、人間の規範、価値観、意図に従うAIシステムが必要である。
価値多元論の下では、正しいターゲットは存在しないが、共有の前提条件は、システムの振る舞いが一貫性のあるポリシーを表現することである。
このようなコヒーレントな政策に対して,安定性,単調性,決定性,パレート性という4つの構造条件を導入する。
彼らは同時に、道徳的基準や専門家の基準に言及せずに、行動のみから評価可能な道徳的能力の形式を測定し、規範的目標ではなく、アライメントのための構造的フロアを形成する。
道徳的ジレンマに直面したLSMをベースとしたエージェントを用いた3つのシミュレーション展開の方法論を実証する。
5つのパラフレーズ,5つのエスカレーションレベル,3つの支配条件の因子的設計の下で9つのフロンティアモデルを評価すると,曲面摂動だけでは1つのエスカレーションレベルで最大99ドルポイントの予測レートシフトを発生させ,一方のシナリオにおけるモデルの成功が他のシナリオでの能力の予測を行なわないという,3つの展開におけるコヒーレントなポリシーを表現するモデルが存在しないことを示す。
これは、LLMベースのエージェントは、現在アライメントが有意義に適用できる種類のオブジェクトではないことを示唆している。
関連論文リスト
- Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。
LLMは、マイナーな単語変更で予測不能に変動する。
この双対性を解決することは 信頼できるAIアライメントに 不可欠です
論文 参考訳（メタデータ） (2026-09-15T03:35:04Z) - Normative Robustness as a Frontier for Non-Verifiable Reasoning in LLMs [12.025454858026187]
非検証可能な推論のパラダイム的サブドメインとして道徳的推論を提案する。
4 つのフロンティア LLM における 48,000 人のユーザエージェントの道徳的検討をシミュレートする。
我々の分析は、モデルが最終的な判断だけでなく、ユーザーの道徳的視点に合わせるための根拠となる正当化を調整していることを示している。
論文 参考訳（メタデータ） (2026-06-10T22:37:26Z) - PRISM: : Planning and Reasoning with Intent in Simulated Embodied Environments [59.07829883257003]
5つの集合住宅の上に建設され、PRISMは300の人間認証タスクを3つの能力レベルに構成する。
PRISMはエージェントに依存しない実行可能なアクションAPIを公開し、任意のエージェントをエンドツーエンドで評価できるようにする。
論文 参考訳（メタデータ） (2026-05-12T04:59:47Z) - Moral Sensitivity in LLMs: A Tiered Evaluation of Contextual Bias via Behavioral Profiling and Mechanistic Interpretability [22.32075837181307]
大規模言語モデル(LLM)は、微妙な倫理的推論を必要とする設定に徐々にデプロイされている。
偏りのある出力の確率を定量化する指標であるMoral Sensitivity Index (MSI)を導入する。
我々は、モデル間で最高のMSIスコアを生み出した犯罪バイアスシナリオを選択する。
論文 参考訳（メタデータ） (2026-05-04T23:12:32Z) - PolicyBank: Evolving Policy Understanding for LLM Agents [51.86716874651299]
PolicyBankは構造化されたツールレベルの政策洞察を維持し、それらを反復的に洗練する。
PolicyBankは、人間の神託に対するギャップの最大82%を閉じている。
論文 参考訳（メタデータ） (2026-04-16T20:29:30Z) - When Reasoning Models Hurt Behavioral Simulation: A Solver-Sampler Mismatch in Multi-Agent LLM Negotiation [0.0]
一般的な仮定は、より強い推論はシミュレーションの忠実性を改善するべきであるというものである。
この仮定は、目的が戦略的問題を解決することではなく、有界に有理な振る舞いをサンプリングすることであるときに失敗する可能性がある。
従来のシミュレーション作業から適応した3つのマルチエージェントネゴシエーション環境において,この解法とサンプラーのミスマッチについて検討した。
論文 参考訳（メタデータ） (2026-04-12T13:36:10Z) - Do LLMs Follow Their Own Rules? A Reflexive Audit of Self-Stated Safety Policies [0.0]
LLMは、RLHFを通じて安全ポリシーを内部化するが、これらのポリシーは公式には指定されず、検査も困難である。
既存のベンチマークは、モデルを外部標準に対して評価するが、モデルが自身のバウンダリを理解し、強制するかどうかを測定することはない。
本稿では,構造化されたプロンプトを介して,モデルが自己決定する安全ルールを抽出するフレームワークであるSNCAを紹介する。
論文 参考訳（メタデータ） (2026-04-10T10:18:45Z) - Position: General Alignment Has Hit a Ceiling; Edge Alignment Must Be Taken Seriously [51.03213216886717]
我々は、一般的なアライメントの支配的なパラダイムが、矛盾する値の設定において構造的な天井に達するという立場を取る。
エッジアライメント(Edge Alignment)は,多次元の値構造を保持するシステムにおいて,異なるアプローチである。
論文 参考訳（メタデータ） (2026-02-23T16:51:43Z) - Toward Virtuous Reinforcement Learning [1.3428344011390776]
本稿では、強化学習(RL)における機械倫理の共通パターンを批判する。
代わりに、我々は倫理を政策レベルでの処分として扱う。つまり、インセンティブ、パートナー、文脈が変わるときに維持される比較的安定した習慣である。
論文 参考訳（メタデータ） (2025-12-03T20:30:37Z) - SONA: Learning Conditional, Unconditional, and Mismatching-Aware Discriminator [54.562217603802075]
帰納的バイアスを伴う最終層において,自然性(美容性)とアライメントを別々に投影するSONA(Sum of Naturalness and Alignment)を導入する。
クラス条件生成タスクの実験により、SONAは最先端の手法に比べて優れたサンプル品質と条件アライメントを達成することが示された。
論文 参考訳（メタデータ） (2025-10-06T08:26:06Z) - QA-LIGN: Aligning LLMs through Constitutionally Decomposed QA [46.65999744568314]
本稿では,モノリシック報酬を解釈可能な原理固有評価に分解するQA-LIGNを紹介する。
ランマ-3.1-8B-インストラクションの適用により、QA-LIGNは攻撃成功率を最大68.7%まで下げる一方で、偽拒絶率0.67%を維持している。
論文 参考訳（メタデータ） (2025-06-09T18:24:57Z) - Offline Contextual Bandits with Overparameterized Models [52.788628474552276]
オフラインの文脈的盗賊にも同じ現象が起こるかどうかを問う。
この相違は, 目的の強調安定性によるものであることを示す。
大規模なニューラルネットワークを用いた実験では、アクション安定な値ベース目標と不安定なポリシベース目標とのギャップは、大きなパフォーマンス差をもたらす。
論文 参考訳（メタデータ） (2020-06-27T13:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。