論文の概要: The Policy Cliff: A Theoretical Analysis of Reward-Policy Maps in Large Language Models

• arxiv url: http://arxiv.org/abs/2507.20150v1
• Date: Sun, 27 Jul 2025 06:56:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:57.079571
• Title: The Policy Cliff: A Theoretical Analysis of Reward-Policy Maps in Large Language Models
• Title（参考訳）: ポリシー・クリフ:大規模言語モデルにおけるリワード・ポリティ・マップの理論的分析
• Authors: Xingcheng Xu,
• Abstract要約: 強化学習(RL)は,大規模言語と推論モデル(LLMs/LRMs)の行動形成において重要な役割を担っている しかし、しばしば不安定で不安定なポリシーを生み出し、急激な推論、偽りのアライメント、命令の不服従といった重大な失敗に繋がる。 本稿では,報酬関数から最適ポリシーへの写像の安定性を解析するための厳密な数学的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) plays a crucial role in shaping the behavior of large language and reasoning models (LLMs/LRMs). However, it often produces brittle and unstable policies, leading to critical failures such as spurious reasoning, deceptive alignment, and instruction disobedience that undermine the trustworthiness and safety of LLMs/LRMs. Currently, these issues lack a unified theoretical explanation and are typically addressed using ad-hoc heuristics. This paper presents a rigorous mathematical framework for analyzing the stability of the mapping from a reward function to the optimal policy. We show that policy brittleness often stems from non-unique optimal actions, a common occurrence when multiple valid traces exist in a reasoning task. This theoretical lens provides a unified explanation for a range of seemingly disparate failures, reframing them as rational outcomes of optimizing rewards that may be incomplete or noisy, especially in the presence of action degeneracy. We extend this analysis from the fundamental single-reward setting to the more realistic multi-reward RL across diverse domains, showing how stability is governed by an "effective reward" aggregation mechanism. We also prove that entropy regularization restores policy stability at the cost of increased stochasticity. Our framework provides a unified explanation for recent empirical findings on deceptive reasoning, instruction-following trade-offs, and RLHF-induced sophistry, and is further validated through perturbation experiments in multi-reward RL. This work advances policy-stability analysis from empirical heuristics towards a principled theory, offering essential insights for designing safer and more trustworthy AI systems.
• Abstract（参考訳）: 強化学習(RL)は、大規模言語と推論モデル(LLMs/LRMs)の振る舞いを形成する上で重要な役割を担っている。 しかし、しばしば不安定で不安定な政策を生み出し、急激な推論、偽りの調整、LLM/LRMの信頼性と安全性を損なう命令不服従といった重大な失敗に繋がる。 現在、これらの問題には統一的な理論的な説明がなく、一般にアドホックなヒューリスティックスを用いて対処されている。 本稿では,報酬関数から最適ポリシーへの写像の安定性を解析するための厳密な数学的枠組みを提案する。 ポリシの脆さは、しばしば、推論タスクに複数の有効なトレースが存在する場合の一般的な、一般的でない最適なアクションから生じることを示す。 この理論レンズは、不完全またはノイズのある報酬を最適化する合理的な結果として、特にアクション・デジェネティ(英語版)の存在下で、様々な異なる障害を統一的に説明する。 我々は、この分析を、基本的なシングルリワード設定から、様々な領域にわたるより現実的なマルチリワードRLへと拡張し、安定性が「効果的な報酬」アグリゲーション機構によってどのように支配されるかを示す。 また,エントロピー規則化は,確率性の向上を犠牲にして,政策安定性を回復させることを示す。 本フレームワークは, 認知的推論, 命令追従トレードオフ, およびRLHF誘発ソフィストリーに関する最近の経験的知見を統一的に説明し, マルチリワードRLにおける摂動実験を通じてさらに検証した。 この研究は、経験的ヒューリスティックから原則理論への政策安定分析を推進し、より安全で信頼性の高いAIシステムを設計するための重要な洞察を提供する。

関連論文リスト

• Learning Structured Reasoning via Tractable Trajectory Control [99.75278337895024]
  Ctrl-Rは、トラクタブルな軌道制御を通じて構造化推論を学ぶためのフレームワークである。 Ctrl-Rは,従来達成できなかった推論パターンを効果的に探索し,内部化することができることを示す。
  論文  参考訳（メタデータ） (2026-03-02T09:18:19Z)
• Stabilizing Policy Optimization via Logits Convexity [59.242732612484474]
  モデルロジットに対する教師付き微調整損失の凸性は、安定したトレーニングを可能にする上で重要な役割を担っていることを示す。 そこで本研究では,ロジッツ・コンベックス最適化(Logits Convex Optimization, LCO)を提案する。
  論文  参考訳（メタデータ） (2026-03-01T07:40:12Z)
• Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning [50.352417879912515]
  大規模言語モデル(LLM)は推論能力の進歩とともに複雑なタスクに優れる。 一般化可能な推論パターンを学習するために,LLMを明示的に訓練するためのグループ因果政策最適化を提案する。 次に、この報酬からトークンレベルのアドバンテージを構築し、ポリシーを最適化し、LCMにプロセス無効で事実上堅牢な推論パターンを推奨します。
  論文  参考訳（メタデータ） (2026-02-06T08:03:11Z)
• UCPO: Uncertainty-Aware Policy Optimization [12.847800921274617]
  既存のLarge Language Models (LLM) はバイナリ決定空間と静的不確実性報酬によってアドバンテージバイアスに悩まされ、過剰な保守主義や過剰な自信を引き起こす。 本稿では、不確実性に基づく報酬を取り入れた現在のRLパラダイムにおける報酬ハッキングと過信の根本原因を明らかにし、UnCertainty-Aware Policy Optimizationフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-30T07:07:42Z)
• BAPO: Boundary-Aware Policy Optimization for Reliable Agentic Search [72.87861928940929]
  バウンダリ・アウェア・ポリシー・オプティマイゼーション(BAPO)は、信頼性の高い境界認識を精度を損なうことなく育成する新しいRLフレームワークである。 BAPOは2つの重要な要素を導入する: (i) グループベースの境界対応報酬(i) 推論が限界に達したときのみIDK応答を促進させる) 適応報酬変調器(ii) 早期探索中にこの報酬を戦略的に停止させ、モデルがIDKをショートカットとして利用するのを防ぐ。
  論文  参考訳（メタデータ） (2026-01-16T07:06:58Z)
• Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning [52.144281362465996]
  本稿では,強化学習を長期シナリオに適用するためのEAPO(Evidence-Augmented Policy Optimization)を提案する。 最初にEvidence-Augmented Reasoningパラダイムを確立し、Tree-Structued Evidence Smplingを介して検証する。 次に、報酬モデルがグループ相対エビデンス・リワードを計算する特殊なRLアルゴリズムを導入する。 トレーニングを通して正確な監視を維持するため、適応的リワード・ポリティ共進化機構をさらに取り入れる。
  論文  参考訳（メタデータ） (2026-01-15T11:40:57Z)
• How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
  大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。 推論を原子核スキルに分解する新しいベンチマークを導入する。 SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
  論文  参考訳（メタデータ） (2025-12-30T08:16:20Z)
• ReLaX: Reasoning with Latent Exploration for Large Reasoning Models [11.506415241741601]
  我々は、トークン生成の根底にある潜在力学が、ステアリングポリシー最適化のためのよりリッチな計算構造を符号化していると論じる。 ReLaX(Reasoning with Latent eXploration)を提案する。
  論文  参考訳（メタデータ） (2025-12-08T13:48:33Z)
• Does More Inference-Time Compute Really Help Robustness? [50.47666612618054]
  小規模なオープンソースモデルは、推論時間スケーリングの恩恵を受けることができることを示す。 我々は、逆スケーリング法として、直感的に動機付けられ、実証的に検証された重要なセキュリティリスクを特定します。 私たちは、セキュリティに敏感で現実世界のアプリケーションに推論タイムのスケーリングを適用する前に、実践者にこれらの微妙なトレードオフを慎重に検討するよう促します。
  論文  参考訳（メタデータ） (2025-07-21T18:08:38Z)
• Is Reasoning All You Need? Probing Bias in the Age of Reasoning Language Models [0.0]
  RLM(Reasoning Language Models)は、複雑な多段階推論タスクを実行する能力によって注目を集めている。 これらの能力は信頼性の向上を約束するが、社会的バイアスに対する堅牢性への影響はまだ不明だ。 我々は, CLEAR-Bias ベンチマークを用いて, RLM のバイアス誘発に対する対角的ロバスト性について検討する。
  論文  参考訳（メタデータ） (2025-07-03T17:01:53Z)
• Lost at the Beginning of Reasoning [82.18834329384514]
  第1の推論ステップが最終予測に不当に大きな影響を与えることを示す。 本稿では、報酬モデルを利用して高品質な第1推論ステップを特定し、維持する効率的なサンプリング戦略を提案する。 モデル自己補正能力を体系的に評価するために、意図的に欠陥のある第1の推論ステップで構築された新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-06-27T09:53:57Z)
• Pitfalls of Rule- and Model-based Verifiers -- A Case Study on Mathematical Reasoning [26.717777746219635]
  数理推論をケーススタディとして、静的評価とRLトレーニングのシナリオの両方において、様々な検証を包括的に分析する。 まず、現在のオープンソースのルールベースの検証器は、よく使われる数学的データセット間で異なる形式で表される同等の答えを認識できないことが多く、無視できない偽陰性率をもたらす。 これらの制約に対処するための潜在的な解決策としてモデルベース検証について検討する。 静的評価では,モデルの検証精度が著しく向上していることが示されているが,さらに解析とRLトレーニングの結果から,特定のパターンを誤分類するハッキングに非常に敏感であることが示唆された。
  論文  参考訳（メタデータ） (2025-05-28T10:28:41Z)
• Towards Optimal Adversarial Robust Reinforcement Learning with Infinity Measurement Error [9.473089575932375]
  近年の研究は、国家の敵対的堅牢性を達成する上での課題を浮き彫りにしている。 内向的状態適応型マルコフ決定プロセス(ISA-MDP)について紹介する。 DRLの堅牢性の向上は自然環境における性能を損なうものではないことを示す。
  論文  参考訳（メタデータ） (2025-02-23T22:16:01Z)
• SAMBO-RL: Shifts-aware Model-based Offline Reinforcement Learning [9.88109749688605]
  モデルに基づくオフライン強化学習は、事前コンパイルされたデータセットと学習環境モデルを使用してポリシーを訓練する。 本稿では,問題をモデルバイアスとポリシーシフトという2つの基本要素に分解する包括的分析を行う。 本稿では,モデルに基づくオフライン強化学習(SAMBO-RL)について紹介する。
  論文  参考訳（メタデータ） (2024-08-23T04:25:09Z)
• Time-Constrained Robust MDPs [28.641743425443]
  我々は,多因子性,相関性,時間依存障害を考慮した新しい時間制約型ロバストMDP(TC-RMDP)の定式化を導入する。 本研究では、ロバストなRLにおける一般的な仮定を再考し、より実用的で現実的なRLアプリケーションを開発するための新たな道を開く。
  論文  参考訳（メタデータ） (2024-06-12T16:45:09Z)
• Latent State Marginalization as a Low-cost Approach for Improving Exploration [79.12247903178934]
  我々はMaxEntフレームワークにおける潜在変数ポリシーの採用を提案する。 我々は、潜在変数ポリシーが、潜在信念状態を持つ世界モデルの下で自然に現れることを示す。 提案手法を連続制御タスクに対して実験的に検証し, 有効限界化がよりよい探索とより堅牢な訓練につながることを示した。
  論文  参考訳（メタデータ） (2022-10-03T15:09:12Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Provably Good Batch Reinforcement Learning Without Great Exploration [51.51462608429621]
  バッチ強化学習(RL)は、RLアルゴリズムを多くの高利得タスクに適用するために重要である。 最近のアルゴリズムは将来性を示しているが、期待された結果に対して過度に楽観的である。 より保守的な更新を行うため、ベルマンの最適性と評価のバックアップに小さな修正を加えることで、はるかに強力な保証が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-16T09:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。