論文の概要: TrajEvolve: Trajectory Evolution for Reinforcement Learning with Hindsight Credit Assignment

• arxiv url: http://arxiv.org/abs/2610.28060v1
• Date: Tue, 20 Oct 2026 11:48:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.792091
• Title: TrajEvolve: Trajectory Evolution for Reinforcement Learning with Hindsight Credit Assignment
• Title（参考訳）: TrajEvolve: 隠れクレデンシャルアサインメントによる強化学習のための軌道進化
• Abstract要約: 本稿では,トラジエボレーブ(TrajEvolve,TrajEvolve,TrajEvolve,TrajEvolve,TrajEvolve,TrajEvolve,TrajEvolve,TrajEvolve,TrajEvolve, TrajEvolve,TrajEvolve,TrajEvolve)という,新しいトラジェクトリ進化パラダイムを提案する。 TrajEvolveは、モデルによって推測される軌道に依存するが、歴史軌道の低品質なステップを精製することによって進化軌道を生成する''。
• 参考スコア（独自算出の注目度）: 28.018517267597517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Reinforcement Learning (RL) paradigm has achieved remarkable success in enhancing the reasoning capabilities of Large Language Models (LLMs). However, when applied to long-horizon tasks, it faces severe challenges: i) Due to the high task complexity, the model struggles to sample enough successful trajectories, resulting in slow convergence. ii) Relying solely on sparse final rewards causes all steps to be updated indiscriminately, encouraging redundant step generation. When both the quantity and quality of successful trajectories become difficult to guarantee, the performance is severely constrained. This dilemma stems from the limitations: existing RL paradigms rely entirely on the reasoning capability of base models, lacking the ability to actively optimize trajectories. To address the above issues, we propose a novel trajectory evolution paradigm with hindsight credit assignment, termed TrajEvolve. TrajEvolve not only relies on the trajectory inferred by the model but also generates ``evolutionary trajectories'' by refining low-quality steps in historical trajectories, thereby exposing the policy to high-quality compositions that lie within the base model's support but are rarely sampled within practical training budgets. Furthermore, TrajEvolve reformulates step-level continuous credit assignment as a binary classification task, whether each step is necessary for task completion. This simplification not only reduces the learning difficulty but also enables step labels to be obtained through counterfactual verification, achieving precise identification of redundant steps. Extensive experiments on two datasets demonstrate the superiority of the proposed method.
• Abstract（参考訳）: Reinforcement Learning(RL)パラダイムは,LLM(Large Language Models)の推論能力の向上に成功している。 しかし、長期的タスクに適用すると、深刻な課題に直面します。 i) タスクの複雑さが高いため、モデルが十分に成功した軌道をサンプリングするのに苦労し、結果として収束が遅くなる。 二 余分な最終報酬のみに頼り、すべてのステップを無差別に更新し、冗長なステップ生成を奨励する。 成功した軌道の量と品質の両方を保証することが困難になると、その性能は厳しく制約される。 既存のRLパラダイムはベースモデルの推論能力に完全に依存しており、軌道を積極的に最適化する能力が欠如している。 上記の課題に対処するため,トラジエボレーブと呼ばれる後向きの信用代入を伴う新しい軌道進化パラダイムを提案する。 TrajEvolveは、モデルによって推測される軌道に依存するだけでなく、歴史的軌跡の低品質なステップを精錬することで「進化的軌跡」を発生させ、それによって基本モデルの支持範囲内にあるが実際の訓練予算内でサンプリングされることはめったにない高品質な構成にポリシーを露出させる。 さらに、TrajEvolveは、各ステップがタスク完了に必要なかどうかに関わらず、ステップレベルの継続的クレジット割り当てをバイナリ分類タスクとして再構成する。 この単純化により、学習の難易度を低減できるだけでなく、デファクト検証によってステップラベルを得ることができ、冗長なステップを正確に識別することができる。 2つのデータセットに対する大規模な実験は、提案手法の優位性を実証している。

関連論文リスト

• Long-Horizon Language Model Reinforcement Learning via Progressive Point Matching [70.73681123064533]
  単純で偏りのない厳密な報酬の定式化(プログレッシブ・ポイントマッチング)は、長い水平タスクに対して指数関数的に効率良くスケールする。 非常に難しい数学推論問題では、粗末な結果報酬は進歩することができないが、セグメントレベルの報酬はより大きなテストタイムトークン予算の改善を可能にする。
  論文  参考訳（メタデータ） (2026-09-07T10:21:41Z)
• PiCA: Pivot-Based Credit Assignment for Search Agentic Reinforcement Learning [11.926589875842359]
  大言語モデル(LLM)に基づく検索エージェントは,知識集約型タスクの性能を大幅に向上させた。 既存の手法は、長期信用割り当てにおいて重要な課題に直面する。 累積探索の逐次過程として探索軌道を再構成するPivot-Based Credit Assignment (PiCA)を提案する。
  論文  参考訳（メタデータ） (2026-05-10T03:21:47Z)
• Truncated Step-Level Sampling with Process Rewards for Retrieval-Augmented Reasoning [32.295907409325615]
  強化学習による検索エンジンの推論のための大規模言語モデルの訓練は、信用代行問題によって妨げられる。 2つの相補的なアイデアに基づいて構築されたフレームワークであるSLATEを提案する。 7つのQAベンチマークの実験では、SLATEがスパース・リワードとプロセス・リワードのベースラインを一貫して上回っていることが確認された。
  論文  参考訳（メタデータ） (2026-02-26T19:05:40Z)
• ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation [54.071574153853994]
  ProRAGは、学習段階の監視をオンライン最適化ループに統合するために設計されたプロセス教師付き強化学習フレームワークである。 本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。
  論文  参考訳（メタデータ） (2026-01-29T16:04:59Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Counteracting Matthew Effect in Self-Improvement of LVLMs through Head-Tail Re-balancing [70.35701681177655]
  自己改善は、大きな視覚言語モデルの推論能力を向上するための主流パラダイムとして現れてきた。 本研究では,探索学習による自己改善プロセスにおいて,頭部再バランスを実現するための4つの効率的な戦略を提案する。 我々の手法は視覚的推論能力を常に改善し、バニラ自己改善を平均3.86ポイント上回る。
  論文  参考訳（メタデータ） (2025-10-30T13:26:58Z)
• Are Expressive Models Truly Necessary for Offline RL? [18.425797519857113]
  シークエンシャルモデリングでは、適切なポリシー性能を確保するために、軌道データの長い地平線を越えて正確なダイナミクスを捉える必要がある。 浅層2層モデルほど単純な軽量モデルは、正確な動的一貫性と逐次モデリングエラーを著しく低減できることを示す。
  論文  参考訳（メタデータ） (2024-12-15T17:33:56Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Continuous Transition: Improving Sample Efficiency for Continuous Control Problems via MixUp [119.69304125647785]
  本稿では,連続的遷移を構築するための簡潔かつ強力な手法を提案する。 具体的には、連続的な遷移を線形に補間することにより、トレーニングのための新しい遷移を合成することを提案する。 また, 建設過程を自動案内する判別器を開発した。
  論文  参考訳（メタデータ） (2020-11-30T01:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。