論文の概要: HISR: Hindsight Information Modulated Segmental Process Rewards For Multi-turn Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2603.18683v1
• Date: Thu, 19 Mar 2026 09:42:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.070163
• Title: HISR: Hindsight Information Modulated Segmental Process Rewards For Multi-turn Agentic Reinforcement Learning
• Title（参考訳）: HISR:マルチターンエージェント強化学習のための隠れ情報変調セグメンショナル・プロセス・リワード
• Authors: Zhicong Lu, Zichuan Lin, Wei Jia, Changyuan Tian, Deheng Ye, Peiguang Li, Li Jin, Nayu Liu, Guangluan Xu, Wei Feng,
• Abstract要約: 本稿では,Hendsight Information を利用したセグメンショナル・プロセス・リワードの修正手法を提案する。 具体的には、タスクの各サブゴールに対する報酬を割り当てるために、セグメントレベルプロセスRMが提示される。 軌跡における重要なセグメントを強調するために,軌跡結果の把握後,ある動作を行うことの好みを反映した後視モデルが考案された。
• 参考スコア（独自算出の注目度）: 47.756127177035246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large language models excel in diverse domains, their performance on complex longhorizon agentic decision-making tasks remains limited. Most existing methods concentrate on designing effective reward models (RMs) to advance performance via multi-turn reinforcement learning. However, they suffer from delayed propagation in sparse outcome rewards and unreliable credit assignment with potentially overly fine-grained and unfocused turnlevel process rewards. In this paper, we propose (HISR) exploiting Hindsight Information to modulate Segmental process Rewards, which closely aligns rewards with sub-goals and underscores significant segments to enhance the reliability of credit assignment. Specifically, a segment-level process RM is presented to assign rewards for each sub-goal in the task, avoiding excessively granular allocation to turns. To emphasize significant segments in the trajectory, a hindsight model is devised to reflect the preference of performing a certain action after knowing the trajectory outcome. With this characteristic, we design the ratios of sequence likelihoods between hindsight and policy model to measure action importance. The ratios are subsequently employed to aggregate segment importance scores, which in turn modulate segmental process rewards, enhancing credit assignment reliability. Extensive experimental results on three publicly benchmarks demonstrate the validity of our method.
• Abstract（参考訳）: 言語モデルは多種多様な領域で優れているが、複雑な長距離エージェント決定タスクにおけるパフォーマンスは依然として限られている。 既存の手法の多くは、マルチターン強化学習による性能向上のために有効な報酬モデル(RM)を設計することに集中している。 しかし、粗末な成果報酬の伝播の遅れや、過度にきめ細やかで焦点を絞らないプロセス報酬の信頼できない信用割り当てに悩まされる。 本稿では,Hndsight Information を利用したセグメンショナル・プロセス・リワードの調整手法を提案する。これは,報酬をサブゴールと密接に整合させ,信用割当の信頼性を高めるために重要なセグメントをアンダースコアする。 具体的には、タスク内の各サブゴールに対する報酬を割り当てるためにセグメントレベルのプロセスRMが提示され、ターンへの過剰な粒度の割り当てを避ける。 軌跡における重要なセグメントを強調するために,軌跡結果の把握後,ある動作を行うことの好みを反映した後視モデルが考案された。 この特徴により、動作重要度を測定するために、後向きとポリシーモデルの間のシーケンス確率の比率を設計する。 この比率はその後、セグメントの重要度スコアを集計するために使用され、それによってセグメントプロセスの報酬を調整し、信用割当の信頼性を高める。 3つの公的なベンチマークによる大規模な実験結果から,本手法の有効性が示された。

関連論文リスト

• Discovering Process-Outcome Credit in Multi-Step LLM Reasoning [3.584086358722852]
  強化学習(RL)は、大規模言語モデル(LLM)における推論能力を高めるための強力なパラダイムとして機能する。 本稿では,連続的な報酬信号を提供するための新しいフレームワークを提案する。 本モデルでは, 予測できない, 難解な推論タスクに対して, ゼロショット転送能力を実証し, より優れた配当性を示す。
  論文  参考訳（メタデータ） (2026-02-01T05:44:09Z)
• Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents [28.145430029174577]
  大規模言語モデル(LLM)ベースのエージェントは、外部環境と対話する能力を高めるために強化学習(RL)でますます訓練されている。 既存のアプローチは通常、最終回答でのみ提供される結果に基づく報酬に依存します。 本稿では,情報ゲインに基づくポリシー最適化(IGPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:32Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• RRO: LLM Agent Optimization Through Rising Reward Trajectories [52.579992804584464]
  大規模言語モデル (LLM) は様々なタスクにおいて異常な性能を示した。 実際には、エージェントは特定の重要なステップの結果に敏感で、タスクを失敗する可能性がある。 この問題を軽減するために,Reward Rising Optimization (RRO)を提案する。
  論文  参考訳（メタデータ） (2025-05-27T05:27:54Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。