論文の概要: Lifted State Policy Optimization: Internalizing Self-Correction through Transition Geometry

• arxiv url: http://arxiv.org/abs/2610.20350v1
• Date: Wed, 14 Oct 2026 15:27:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.222132
• Title: Lifted State Policy Optimization: Internalizing Self-Correction through Transition Geometry
• Title（参考訳）: 自由化政策最適化:遷移幾何学による自己補正の内在化
• Abstract要約: 我々は,学習の主単位として,有限でコスト調整された遷移を確立することを目的とした,Lfted State Policy Optimization (LSPO)を紹介した。 形状の報酬は、編集及びステップコストのエネルギー降下ネットを駆動し、内部化損失は選択された低エネルギーの回答を直接発生装置に吸収する。 Qwen3.5-27Bでは、結果として得られるシングルパスポリシーは、数学、科学、コード、論理ベンチマークの合計精度71.8%に達し、テスト時間リフレクションは71.9%、レイテンシは28%、トークンは25.8%減少した。
• 参考スコア（独自算出の注目度）: 2.0392077945115052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference optimization ranks final answers and trajectory RL maximizes aggregate returns, yet neither credits the local change that turns a flawed reasoning state into a better one. We introduce Lifted State Policy Optimization (LSPO), which establishes this finite, cost-adjusted transition as the primary unit of learning. Each textual answer is augmented with a learned continuous coordinate, forming a lifted state that an energy function evaluates and orders. A shaped reward drives energy descent net of edit and step costs, and an internalization loss absorbs selected low-energy answers into the direct generator. On Qwen3.5-27B, the resulting single-pass policy reaches 71.8% aggregate accuracy across mathematics, science, code, and logic benchmarks, matching test-time reflection at 71.9% with 28% lower latency and 25.8% fewer tokens. The pattern holds across dense and mixture-of-experts backbones, and matched controls confirm that transition credit and the lifted coordinate each contribute, as does answer internalization. Our code is available at https://github.com/Venomrko/lspo.
• Abstract（参考訳）: 優先最適化は最終回答をランク付けし、軌道RLは総和を最大化するが、どちらも欠陥のある推論状態がより良い結果になるような局所的な変化を信用しない。 我々は、この有限でコスト調整された移行を学習の主単位として確立する、Lfted State Policy Optimization (LSPO)を導入する。 各テキスト回答は学習された連続座標で拡張され、エネルギー関数が評価および順序付けする昇降状態を形成する。 形状の報酬は、編集及びステップコストのエネルギー降下ネットを駆動し、内部化損失は選択された低エネルギーの回答を直接発生装置に吸収する。 Qwen3.5-27Bでは、結果として得られるシングルパスポリシーは、数学、科学、コード、論理ベンチマークの合計精度71.8%に達し、テスト時間リフレクションは71.9%、レイテンシは28%、トークンは25.8%減少した。 パターンは、密集した熟練したバックボーンと混合されたバックボーンに保持され、マッチしたコントロールにより、トランジションクレジットとリフトされた座標がそれぞれ寄与し、内部化に応答する。 私たちのコードはhttps://github.com/Venomrko/lspo.comから入手可能です。

関連論文リスト

• Reinforcement Learning for Hierarchical Reasoning Rewards: Minimax-Optimal Rates with Transformers [55.3749098112392]
  強化学習(Reinforcement Learning, RL)は、推論タスクにおける言語モデルの訓練後の標準ツールである。 オンライン調査では,報酬が集中している地域を徐々に拡大し,RLポストトレーニングのメリットを定量化している。
  論文  参考訳（メタデータ） (2026-10-06T15:43:08Z)
• VETTA: Coordinating Turn- and Token-Level Credit Assignment for Multi-Turn LLM Agents [30.005457080904478]
  マルチターンLDMエージェントは、トークンごとに応答トークンを生成しながら、複数のインタラクション間でスパースなタスクフィードバックを受け取ることが多い。 VETTAは,共有批評家の異なる頭上で,ターンレベルの値とトークンレベルの値を共同で学習する信用割当手法である。 VETTAは両方の時間的シーケンスに沿って利点を計算し、各ターンの利点とPPO更新のための応答内中心のトークン残差を結合する。
  論文  参考訳（メタデータ） (2026-10-06T14:15:11Z)
• TCPO: Turn-Level Credit Policy Optimization [3.5758528239482477]
  検証器誘導型マルチターンRLのターンレベルクレジット代入法であるTCPOを提案する。 TCPOは、クレジット割り当てをスコア・ツー・クレディット変換とし、基準ベースの比較を通じてターンレベルの利点を構築する。 数学推論、コード生成、AppWorldエージェントタスクの実験は、TCPOがモデルスケール、タスクドメイン、検証対象タイプで最強のベースラインを改善したり、適合させたりしていることを示している。
  論文  参考訳（メタデータ） (2026-08-03T04:01:36Z)
• Mat-Pref: Verifiable-Reward Training Improves Compositional Reasoning in Inorganic Materials [2.102846336724103]
  Mat-Prefは、11の無機構造体ファミリーにわたる10,837のイオン置換質問のベンチマークである。 4つのゼロショットフロンティアモデルは、すべての分割において33-54%の範囲に留まっており、スケールだけでは、このタスク要求の合成化学的理由を解決していないことを確認している。
  論文  参考訳（メタデータ） (2026-06-20T01:46:41Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• Policy-Based Radiative Transfer: Solving the $2$-Level Atom Non-LTE Problem using Soft Actor-Critic Reinforcement Learning [0.0]
  本稿では,古典的2レベル原子非LTE放射伝達問題の解法として,新しい強化学習法を提案する。 エージェントのポリシーは、放射移動エンジンとの報酬ベースの相互作用によって完全に最適化される。 実験を通して、単純なフィードフォワードニューラルネットワークは、SEに対して、おそらく問題の移動目標の性質のために、厳密に訓練されただけでは解決できないことを示す。
  論文  参考訳（メタデータ） (2025-04-22T08:03:09Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。