論文の概要: Bellman-Consistent Trajectory RL for LLM Arithmetic Reasoning
- arxiv url: http://arxiv.org/abs/2610.21060v1
- Date: Thu, 15 Oct 2026 01:05:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.114492
- Title: Bellman-Consistent Trajectory RL for LLM Arithmetic Reasoning
- Title（参考訳）: LLM算数推論のためのベルマン抵抗軌道RL
- Abstract要約: 本稿では,スパース報酬を高密度なトークンレベル信号に変換するために,トラジェクトリベルマン残差最小化を導入する。
Reinforce Leave-One-Out(RLOO)グループ戦略を統合し、ベルマン残差の勾配分散を低減し、中等学習を加速するために後向きゴールレバーリングを使用する。
- 参考スコア（独自算出の注目度）: 0.3655021726150367
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To address sparse terminal rewards in LLM arithmetic reasoning, we propose a Bellman-consistent trajectory RL method. Our framework introduces Trajectory Bellman Residual Minimization (TBRM) to transform sparse rewards into dense token-level signals. We integrate a Reinforce Leave-One-Out (RLOO) group strategy to reduce gradient variance of Bellman residuals and use hindsight goal relabeling to accelerate intermediate learning. Evaluated on the Countdown task, our method alleviates optimization bottlenecks and stabilizes gradient variance significantly better than GRPO. The TBRM-RLOO framework boosts Pass@1 to 0.55--0.64 and achieves a state-of-the-art Pass@16 accuracy of 76.0--84.0\%, outperforming the SFT, IPO/DPO, and RLOO baselines. Our approach demonstrates exceptional single-sample efficiency and successfully circumvents standard performance plateaus via test-time scaling.
- Abstract（参考訳）: LLM算術的推論におけるスパース終端報酬に対処するために,ベルマン整合軌道RL法を提案する。
我々のフレームワークは、スパース報酬を高密度なトークンレベル信号に変換するためのTBRM(Trjectory Bellman Residual Minimization)を導入している。
Reinforce Leave-One-Out(RLOO)グループ戦略を統合し、ベルマン残差の勾配分散を低減し、中等学習を加速するために後向きゴールレバーリングを使用する。
Countdown タスクに基づいて最適化ボトルネックを緩和し,GRPO よりも勾配分散を著しく安定化する。
TBRM-RLOOフレームワークはPass@1から0.55--0.64に向上し、最先端のPass@16精度76.0--84.0\%を実現し、SFT、IPO/DPO、ROOベースラインを上回っている。
提案手法は, 単サンプル効率が極めて高いことを示し, テスト時間スケーリングによる標準性能高原の回避に成功している。
関連論文リスト
- Off-Policy Value-Based Reinforcement Learning for Large Language Models [25.962820072445222]
ReValはベルマン更新に基づく手法で、内部の一貫性を捉える段階的な信号と、結果検証から導出される軌道レベルの信号を組み合わせる。
DeepSeek-R1-Distill-1.5Bでは、ReValはトレーニング効率を改善し、AIME24の2.7%、GRPOのGPQAの4.5%の改善を実現している。
論文 参考訳（メタデータ） (2026-03-24T15:55:02Z) - REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。
我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-03-17T21:19:08Z) - $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳（メタデータ） (2026-03-05T08:42:54Z) - ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。
我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文 参考訳（メタデータ） (2026-02-27T05:22:01Z) - Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning [55.33984461046492]
現在、政策に基づく手法が大規模言語モデル(LLM)推論のための強化学習パイプラインを支配している。
本稿では,このアイデアを LLM に自然に適応させるアルゴリズムである Trajectory Bellman Residual Minimization (TBRM) を紹介する。
我々は、軌道の軌道変更-測度分析の改善により、任意のオフ政治から、最適に近いKL正規化政策への収束を証明した。
論文 参考訳（メタデータ） (2025-05-21T09:41:53Z) - Token-Efficient RL for LLM Reasoning [0.02488650627593658]
本稿では,大規模言語モデル (LLM) において,厳密なメモリと計算限界下での推論に適した強化学習戦略を提案する。
ベースラインサブトラクションを用いた早期ポリシー勾配法に基づいて,出力トークンの小さな情報サブセット上で動作する批判のない手法を設計する。
提案手法は,SVAMPベンチマークの精度を46%から70%以上に向上し,マルチ桁乗算において高い性能を示した。
論文 参考訳（メタデータ） (2025-04-29T14:58:43Z) - A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。
単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。
この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
論文 参考訳（メタデータ） (2025-04-15T16:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。