論文の概要: RewardFlow: Topology-Aware Reward Propagation on State Graphs for Agentic RL with Large Language Models

• arxiv url: http://arxiv.org/abs/2603.18859v1
• Date: Thu, 19 Mar 2026 13:07:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.152038
• Title: RewardFlow: Topology-Aware Reward Propagation on State Graphs for Agentic RL with Large Language Models
• Title（参考訳）: RewardFlow: 大規模言語モデルを持つエージェントRLのための状態グラフのトポロジ対応Reward Propagation
• Authors: Xiao Feng, Bo Han, Zhanke Zhou, Jiaqi Fan, Jiangchao Yao, Ka Ho Li, Dahai Yu, Michael Kwok-Po Ng,
• Abstract要約: RewardFlowはエージェント推論タスクに適した状態レベルの報酬を推定するための軽量な方法である。 RewardFlowは4つのエージェント推論ベンチマークで、以前のRLベースラインを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 51.06489124968176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) holds significant promise for enhancing the agentic reasoning capabilities of large language models (LLMs) with external environments. However, the inherent sparsity of terminal rewards hinders fine-grained, state-level optimization. Although process reward modeling offers a promising alternative, training dedicated reward models often entails substantial computational costs and scaling difficulties. To address these challenges, we introduce RewardFlow, a lightweight method for estimating state-level rewards tailored to agentic reasoning tasks. RewardFlow leverages the intrinsic topological structure of states within reasoning trajectories by constructing state graphs. This enables an analysis of state-wise contributions to success, followed by topology-aware graph propagation to quantify contributions and yield objective, state-level rewards. When integrated as dense rewards for RL optimization, RewardFlow substantially outperforms prior RL baselines across four agentic reasoning benchmarks, demonstrating superior performance, robustness, and training efficiency. The implementation of RewardFlow is publicly available at https://github.com/tmlr-group/RewardFlow.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は,大規模言語モデル(LLM)と外部環境とのエージェント推論能力の向上を約束する。 しかし、端末報酬の本質的にの疎さは、きめ細かい状態レベルの最適化を妨げる。 プロセス報酬モデリングは有望な代替手段を提供するが、訓練専用の報酬モデルにはかなりの計算コストとスケーリングの困難が伴うことが多い。 これらの課題に対処するために、エージェント推論タスクに適した状態レベルの報酬を推定する軽量な方法であるRewardFlowを紹介した。 RewardFlowは状態グラフを構築することによって、推論軌道内の状態の固有位相構造を利用する。 これにより、成功への州レベルの貢献を分析することができ、続いてトポロジを意識したグラフの伝播によって、貢献の定量化と、目標である州レベルの報酬の獲得が可能になる。 RL最適化のための高密度な報酬として統合されると、RewardFlowは4つのエージェント推論ベンチマークで以前のRLベースラインを大幅に上回り、優れたパフォーマンス、堅牢性、トレーニング効率を示す。 RewardFlowの実装はhttps://github.com/tmlr-group/RewardFlowで公開されている。

関連論文リスト

• VeRPO: Verifiable Dense Reward Policy Optimization for Code Generation [43.206705536310245]
  textbfVeRPO (textbf Verifiable Dtextbfense textbfReward textbfPolicy textbfOptimization) は,テキストイトラバストと高密度報酬を合成し,検証された実行フィードバックに完全に根ざしたコード生成のための新しいRLフレームワークである。 VeRPOは結果駆動のベースラインとRMベースのベースラインを一貫して上回り、許容しない時間コスト(0.02%)とゼロのパス@1で+8.83%のゲインを達成している。
  論文  参考訳（メタデータ） (2026-01-07T02:29:49Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Rethinking Reasoning Quality in Large Language Models through Enhanced Chain-of-Thought via RL [19.659532349434418]
  強化学習(Reinforcement Learning, RL)は、近年、大規模言語モデルの推論能力を強化する主要なパラダイムとなっている。 しかし、数学やプログラミングのベンチマークで一般的に使われるルールベースの報酬関数は、応答形式と正しさのみを評価する。 本稿では,報酬と有利な信号の両方を再生するプラグイン・アンド・プレイのRL報酬フレームワークであるDynamic Reasoning Efficiency Reward (DRER)を提案する。
  論文  参考訳（メタデータ） (2025-09-07T11:52:18Z)
• Nested-ReFT: Efficient Reinforcement Learning for Large Language Model Fine-Tuning via Off-Policy Rollouts [25.205293698698867]
  我々はNested-ReFTを導入し、ターゲットモデルのサブセットがトレーニング中に非政治的な完了を生成する行動モデルとして機能する。 我々の理論的分析は、Nested-ReFTが制御された分散を伴う非バイアス勾配推定値を得ることを示している。 我々の経験的分析は、複数の数学推論ベンチマークとモデルサイズでトークン/秒として測定された計算効率の改善を実証している。
  論文  参考訳（メタデータ） (2025-08-13T18:37:46Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• Generative Augmented Flow Networks [88.50647244459009]
  GFlowNetsに中間報酬を組み込むためにGAFlowNets(Generative Augmented Flow Networks)を提案する。 GAFlowNetsは、エッジベースとステートベース固有の報酬を共同で活用して、探索を改善することができる。
  論文  参考訳（メタデータ） (2022-10-07T03:33:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。