論文の概要: RREDCoT: Segment-Level Reward Redistribution for Reasoning Models

• arxiv url: http://arxiv.org/abs/2606.06475v1
• Date: Thu, 04 Jun 2026 17:56:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:45.027158
• Title: RREDCoT: Segment-Level Reward Redistribution for Reasoning Models
• Title（参考訳）: RREDCoT:Reasoning Modelのためのセグメントレベルリワード再分配
• Authors: Mykyta Ielanskyi, Kajetan Schweighofer, Lukas Aichberger, Sepp Hochreiter,
• Abstract要約: RREDCoT(Reward ReDistribution for Chain of Thoughts)を導入し,新たな世代を伴わずに最適報酬再分配を近似する。 また,CoTトレースのセグメンテーションや状態値推定など,再分配の構成に関連するいくつかの側面も分析する。
• 参考スコア（独自算出の注目度）: 20.726685669562496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in reasoning language models have been driven by Reinforcement Learning (RL) fine-tuning. Most often, these rely on the Group Relative Policy Optimization (GRPO) algorithm or modifications thereof to steer the models to produce Chain-of-Thought (CoT) traces. The final answer can only be verified, and the reward assigned, after the CoT trace is complete, making it a delayed reward problem. GRPO and its modifications correspond to Monte Carlo methods in standard RL, which are known to suffer from high variance. A possible solution to this problem is the redistribution of rewards through credit assignment, where segments of the CoT trace that are important for arriving at the desirable solution are emphasized by assigning a higher reward. While Monte Carlo sampling can be used to provide an unbiased estimate of intermediate state values, its computational overhead makes it unsuitable for train-time credit assignment in long contexts at high granularity. We introduce RREDCoT (Reward REDistribution for Chain of Thoughts), which utilizes the model itself to approximate the optimal reward redistribution without additional generation. We investigate the advantages of our method compared to MC sampling and several attribution methods. We further analyze several aspects relevant to the construction of the redistribution such as segmentation of CoT traces and state value estimation.
• Abstract（参考訳）: 推論言語モデルの最近の進歩は強化学習(Reinforcement Learning, RL)による微調整によって進められている。 多くの場合、これらのアルゴリズムはグループ相対政策最適化(GRPO)アルゴリズムやその修正に頼り、モデルを用いてCoT(Chain-of-Thought)トレースを生成する。 最後の答えは検証可能であり、CoTトレースが完了した後に割り当てられた報酬は、遅延報酬問題となる。 GRPOとその修正は、高分散に苦しむことが知られている標準RLのモンテカルロ法に対応する。 この問題の可能な解決策は、クレジット代入による報酬の再分配であり、望ましいソリューションに到達する上で重要なCoTトレースのセグメントは、より高い報酬を割り当てることによって強調される。 モンテカルロサンプリングは、中間状態値の偏りのない推定値を提供するのに使用できるが、その計算オーバーヘッドは、高粒度の長いコンテキストでの列車時のクレジット割り当てには適さない。 RREDCoT(Reward ReDistribution for Chain of Thoughts)を導入し、モデル自体を利用して、新たな生成を伴わずに最適な報酬再分配を近似する。 本手法の利点について, MCサンプリング法といくつかの属性法との比較検討を行った。 さらに,CoTトレースのセグメンテーションや状態値推定など,再分配の構成に関連するいくつかの側面を解析する。

関連論文リスト

• Coupled Variational Reinforcement Learning for Language Model General Reasoning [83.82392089177841]
  変分推論と強化学習を橋渡しするために,textitbCoupled bVari bReinforcement bLearning (CoVRL)を提案する。 CoVRLはベースモデルよりも12.4%向上し、最先端の検証不要なRLベースラインよりも2.3%向上した。
  論文  参考訳（メタデータ） (2025-12-14T07:03:51Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• Redistributing Rewards Across Time and Agents for Multi-Agent Reinforcement Learning [14.852334980733369]
  共用型マルチエージェント強化学習において、各エージェントの共用報酬への貢献を阻害する信用割り当ては重要な課題である。 本稿では、この制約から信用モデリングを分離するアプローチであるTAR(Temporal-Agent Reward Redistribution)を導入する。 本手法は,モデル精度によらず最適ポリシーが維持されることを保証するPBRSと等価であることを示す。
  論文  参考訳（メタデータ） (2025-02-07T12:07:57Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Interpretable Reward Redistribution in Reinforcement Learning: A Causal Approach [45.83200636718999]
  強化学習における大きな課題は、将来の報酬にどの状態-作用ペアが責任を持つかを決定することである。 我々は、因果的な観点から、状態と行動の貢献を明示的にモデル化し、解釈可能な報酬の再分配をもたらすことを提案する。 実験の結果,本手法は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-28T21:51:38Z)
• Distributional Reinforcement Learning for Multi-Dimensional Reward Functions [91.88969237680669]
  多次元分布DQN(MD3QN)を導入し、複数の報酬源からの共振分布をモデル化する。 関節分布モデリングの副産物として、MD3QNは各報酬源に対するリターンのランダム性を捉えることができる。 実験では,リッチな相関型報酬関数を持つ環境下での連立戻り分布を精度良くモデル化した。
  論文  参考訳（メタデータ） (2021-10-26T11:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。