論文の概要: Agency and Architectural Limits: Why Optimization-Based Systems Cannot Be Norm-Responsive

• arxiv url: http://arxiv.org/abs/2602.23239v2
• Date: Sun, 01 Mar 2026 18:44:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 15:39:04.006319
• Title: Agency and Architectural Limits: Why Optimization-Based Systems Cannot Be Norm-Responsive
• Title（参考訳）: Agency and Architectural Limits:なぜ最適化ベースのシステムはノームレスポンシブでないのか
• Authors: Radha Sarma,
• Abstract要約: AIシステムは、標準によって管理されるという前提の下で、ハイステークな状況にますますデプロイされている。 本稿では,最適化システムに対して仮定が正式に無効であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI systems are increasingly deployed in high-stakes contexts (medical diagnosis, legal research, financial analysis) under the assumption they can be governed by norms. This paper demonstrates that the assumption is formally invalid for optimization-based systems, specifically Large Language Models trained via Reinforcement Learning from Human Feedback (RLHF). Genuine agency requires two necessary and jointly sufficient architectural conditions. First, the capacity to maintain certain boundaries as non-negotiable constraints rather than tradeable weights (Incommensurability). Second, a non-inferential mechanism capable of suspending processing when those boundaries are threatened (Apophatic Responsiveness). RLHF-based systems are constitutively incompatible with both conditions. The operations that make optimization powerful, unifying all values on a scalar metric and always selecting the highest-scoring output, are precisely the operations that preclude normative governance and agency. This incompatibility is not a correctable training bug awaiting a technical fix. It is a formal constraint inherent to what optimization is. Consequently, documented failure modes (sycophancy, hallucination, and unfaithful reasoning) are not accidents but expected structural manifestations. Misaligned deployment triggers a second-order risk termed the Convergence Crisis. When humans are forced to verify AI outputs under metric pressure, they degrade from genuine agents into criteria-checking optimizers, eliminating the only component capable of bearing normative accountability. Beyond the incompatibility proof, this paper's primary positive contribution is a substrate-neutral architectural specification deriving what any system (biological, artificial, or institutional) must necessarily satisfy to qualify as a genuine agent rather than a sophisticated instrument.
• Abstract（参考訳）: AIシステムは、医学的診断、法的な研究、財務分析など)の文脈において、標準によって管理できると仮定して、ますます多くデプロイされている。 本稿では、最適化に基づくシステム、特にReinforcement Learning from Human Feedback (RLHF) を用いて訓練された大規模言語モデルに対して、この仮定が正式に無効であることを示す。 ジェヌイイン・エージェンシーは2つの必要かつ共同で十分な建築条件を必要とする。 第一に、ある境界を維持する能力は、トレーサビリティ(Incommensurability)ではなく、非交渉可能な制約として維持する能力である。 第2に、これらの境界が脅かされたときに処理を停止できる非参照機構(アポファティック応答性)。 RLHFベースのシステムは、両条件とも構成的に非互換である。 最適化を強力にし、スカラーメトリックのすべての値を統一し、常に最高スコアの出力を選択する操作は、まさに規範的なガバナンスとエージェンシーを妨げる操作である。 この非互換性は、技術的修正を待っている修正可能なトレーニングバグではありません。 これは最適化とは何かという形式的な制約である。 その結果、文書化された障害モード(症状、幻覚、不誠実な推論)は偶然ではなく、期待される構造的徴候である。 デプロイメントのミスアライメントは、Convergence Crisisと呼ばれる2次のリスクを引き起こす。 人間が計量的圧力の下でAI出力を検証せざるを得ない場合、彼らは真のエージェントから基準チェックオプティマイザに分解し、規範的な説明責任を負うことができる唯一のコンポーネントを排除します。 不整合性証明の他に、本論文の主な肯定的な貢献は、いかなるシステム(生物、人工、制度)が、洗練された機器ではなく真のエージェントとして、必ずしも満足しなければならないかを導出した、基質中立アーキテクチャ仕様である。

関連論文リスト

• Decoding ML Decision: An Agentic Reasoning Framework for Large-Scale Ranking System [26.405948122941467]
  本稿では、最適化を自律的な発見プロセスとして再編成するフレームワークであるGEARSを紹介する。 GEARSは、アルゴリズム信号と深いランク付けコンテキストを相乗化することにより、優れた、ほぼパレート効率のポリシーを一貫して識別する。
  論文  参考訳（メタデータ） (2026-02-20T22:24:01Z)
• FormalJudge: A Neuro-Symbolic Paradigm for Agentic Oversight [21.731032636844237]
  本稿では,双方向のフォーマル・オブ・サートアーキテクチャを用いたニューロシンボリック・フレームワークを提案する。 行動安全,マルチドメイン制約順守,エージェントによる上向き偽装検出の3つのベンチマークにまたがって検証を行った。
  論文  参考訳（メタデータ） (2026-02-11T18:48:11Z)
• ProAct: Agentic Lookahead in Interactive Environments [56.50613398808361]
  ProActは、2段階のトレーニングパラダイムを通じて、エージェントが正確なルックアヘッド推論を内部化することを可能にするフレームワークである。 そこでは,環境に基づく探索から得られたトラジェクトリの微調整をエージェントが行うGLAD(Grounded LookAhead Distillation)を紹介する。 また,政策段階のアルゴリズムを改良する補助値推定器であるモンテカルロ批判(MC-Critic)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T05:45:16Z)
• CircuChain: Disentangling Competence and Compliance in LLM Circuit Analysis [0.0]
  本稿では,電気回路解析における物理推論能力から命令コンプライアンスを遠ざけるように設計された診断ベンチマークであるCircuChainを紹介する。 シンボリック・ソルバ、SPICEシミュレーション、LLMに基づくエラー分類を組み合わせた多段階検証パイプラインは、エラーのきめ細かい帰属を可能にする。 評価された最強モデルは、ほぼ完全な物理的推論を示すが、Trap条件が意図的に自然のサインパターンを逆転させる場合、規約違反の頻度が高い。
  論文  参考訳（メタデータ） (2026-01-29T06:13:44Z)
• Agentic Uncertainty Quantification [76.94013626702183]
  本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。 システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
  論文  参考訳（メタデータ） (2026-01-22T07:16:26Z)
• SciIF: Benchmarking Scientific Instruction Following Towards Rigorous Scientific Intelligence [60.202862987441684]
  科学的妥当性を確立する制約に厳格に固執しながら、問題を解決する能力。 具体的には,大学レベルの問題と制約の固定されたカタログをペアにすることで,この能力を評価するマルチディシプリンのベンチマークであるSciIFを紹介する。 SciIFは、解の正当性と多拘束性の両方を測定することにより、構成的推論失敗のきめ細かい診断を可能にする。
  論文  参考訳（メタデータ） (2026-01-08T09:45:58Z)
• From Linear Risk to Emergent Harm: Complexity as the Missing Core of AI Governance [0.0]
  リスクベースのAI規制は、予想される損害に対応する比例制御を約束する。 本稿では、そのようなフレームワークは構造上の理由から失敗することが多いと論じる。 我々は,規制を制御ではなく介入として扱う,AIガバナンスのための複雑性ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-14T14:19:21Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Take Goodhart Seriously: Principled Limit on General-Purpose AI Optimization [0.0]
  近似、推定、最適化の誤差は、意図した目的から体系的に逸脱することを保証すると論じる。 汎用AIシステムの最適化には原則的な制限が必要である。
  論文  参考訳（メタデータ） (2025-10-03T09:25:12Z)
• Diagnose, Localize, Align: A Full-Stack Framework for Reliable LLM Multi-Agent Systems under Instruction Conflicts [75.20929587906228]
  LLM(Large Language Model)を利用したマルチエージェントシステム(MAS)は、複雑なタスクにおける協調推論、ツールの使用、役割特化調整を急速に進めている。 しかし、信頼性クリティカルなデプロイメントは、体系的な障害モード、すなわち命令の競合による階層的コンプライアンスによって妨げられている。
  論文  参考訳（メタデータ） (2025-09-27T08:43:34Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• Explainable AI Systems Must Be Contestable: Here's How to Make It Happen [2.5875936082584623]
  本稿では、説明可能なAIにおける競合性の最初の厳密な形式的定義について述べる。 我々は、ヒューマン中心のインターフェース、技術プロセス、組織アーキテクチャにまたがる、設計やポストホックメカニズムのモジュール化されたフレームワークを紹介します。 私たちの作業は実践者に、真のリコースと説明責任をAIシステムに組み込むためのツールを提供しています。
  論文  参考訳（メタデータ） (2025-06-02T13:32:05Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Pointwise Feasibility of Gaussian Process-based Safety-Critical Control under Model Uncertainty [77.18483084440182]
  制御バリア関数(CBF)と制御リアプノフ関数(CLF)は、制御システムの安全性と安定性をそれぞれ強化するための一般的なツールである。 本稿では, CBF と CLF を用いた安全クリティカルコントローラにおいて, モデル不確実性に対処するためのガウスプロセス(GP)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-13T23:08:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。