論文の概要: ReAPO: Retry-Aware Policy Optimization for Efficient Exploration in LLM Reasoning

• arxiv url: http://arxiv.org/abs/2610.28770v1
• Date: Tue, 20 Oct 2026 18:08:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.115381
• Title: ReAPO: Retry-Aware Policy Optimization for Efficient Exploration in LLM Reasoning
• Title（参考訳）: ReAPO:LLM推論における効率的な探索のためのリトライアウェアポリシー最適化
• Abstract要約: Retry-Aware Policy Optimization (ReAPO)は、調査とRetry-Awareのクレジット割り当てを改善する。 ReAPOは、障害発生をトラジェクトリに割り当て、失敗を報わずに再試行を成功させることができることを示す。 この結果から,ReAPOは,探索と再試行を考慮した信用割当の改善を通じて,LM推論性能を向上させるための簡易かつ効果的な手法であることが示唆された。
• 参考スコア（独自算出の注目度）: 18.55164633217828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: RLVR improves language-model reasoning, but commonly relies on independent stochastic rollouts for exploration, which can repeatedly sample similar failed strategies. Prior work has seen success with approaches that guide exploration by introducing dependence into the sampling process by including incorrect solutions in the context for subsequent attempts. Still, these methods introduce the additional question of how to assign credit to each attempt. We propose to view the credit assignment through the lens of Stochastic Shortest Paths, a framework in classical reinforcement learning that seeks to minimize the expected cumulative cost to reach a terminal state (in our case, a verified successful response). We show that, under suitable simplifying assumptions, this perspective naturally leads to a simple modification to GRPO, which we call Retry-Aware Policy Optimization (ReAPO). ReAPO allocates additional generation to failed trajectories, allowing successful retries to be reinforced without rewarding preceding failures, and assigns credit in a theoretically principled way to each attempt. Across Qwen3 and OLMo-2 models from 0.6B to 4B and eight mathematical and scientific reasoning benchmarks, ReAPO improves first-attempt performance over GRPO as well as natural recent baseline algorithms, while additional ablations demonstrate the utility of both serial sampling and ReAPO's credit assignment. On Qwen3-0.6B, ReAPO also outperforms GRPO with twice the group size or twice the training steps, reaching their peak accuracy with 39% and 31% fewer generated tokens, respectively. Taken together, our results suggest that ReAPO is a simple yet effective approach for improving LM reasoning performance through improved exploration and retry-aware credit assignment.
• Abstract（参考訳）: RLVRは言語モデル推論を改善するが、通常、同様の失敗戦略を繰り返しサンプリングする独立した確率的ロールアウトに頼っている。 以前の研究は、サンプリングプロセスに依存を導入することによって探索を導くアプローチで成功し、その後の試みのためにコンテキストに誤った解決策を組み込むことで、成功している。 それでもこれらの手法では、各試行にクレジットを割り当てる方法について追加の疑問が持ち込まれている。 本稿では,古典的強化学習のフレームワークであるStochastic Shortest Pathsのレンズを通して,端末状態に到達するための累積コストを最小化するための信用割当を検討することを提案する。 我々は、適切に単純化された仮定の下で、この視点がGRPOの簡単な修正につながることを示し、それをRetry-Aware Policy Optimization (ReAPO)と呼ぶ。 ReAPOは、失敗する軌道にさらなる世代を割り当て、失敗に報いることなく成功した再試行を補強し、各試みに対して理論的に原則化された方法でクレジットを割り当てる。 Qwen3とOLMo-2の0.6Bから4Bまでのモデルと8つの数学的および科学的推論ベンチマークにおいて、ReAPOはGRPOと最近の自然なベースラインアルゴリズムよりもファースト・アタプティブな性能を改善し、追加の改善はシリアルサンプリングとReAPOのクレジット割り当ての両方の有用性を示している。 Qwen3-0.6Bでは、ReAPOはGRPOを2倍、または2倍のトレーニングステップで上回り、それぞれ39%、生成トークンを31%削減した。 この結果から,ReAPOは,探索と再試行を考慮した信用割当の改善を通じて,LM推論性能を向上させるための簡易かつ効果的な手法であることが示唆された。

関連論文リスト

• Credit Assignment with Resets in Language Model Reasoning [19.869062158993113]
  ポストトレイン言語モデルは、トラジェクトリ内のすべてのトークンに対して、単一の結果報酬を均一に割り当てる。 この制限は、軌道全体を均一に更新するのではなく、目標とする故障推論ステップの洗練を可能にすることで対処できる。 本稿では、ランダムリセットポリシー最適化(RRPO)と自己リセットポリシー最適化(SRPO)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2026-05-25T07:11:50Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• Back to Basics: Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities [10.235183326885794]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLMs)における推論の強化に欠かせないパラダイムとして登場した。 我々は、この問題をサンプリング確率力学の観点から分析し、標準目的が高次様相の経路を不均等に強化することを特定する。 提案手法は,すべての応答に対する信頼度を平衡化するための新しいアドバンテージ再重み付け機構 (ARM) を提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:06:55Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。