論文の概要: DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter

• arxiv url: http://arxiv.org/abs/2610.17666v1
• Date: Tue, 13 Oct 2026 03:49:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.499867
• Title: DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter
• Title（参考訳）: DeltaTTG:Token-to-go Progress Meterを用いたマルチTurnエージェントのトレーニング
• Abstract要約: 報酬を伴う強化学習は、個々のステップについてはほとんど語らない疎い端末報酬に依存します。 デルタTTGを導入し、共有進捗計を用いて再利用可能な進捗信号を学習する。 アクタートレーニング中、フリーズメータの見積もりの変化は、報酬を変更することなく、ステップ間で結果に起因したアドバンテージを推定する。
• 参考スコア（独自算出の注目度）: 39.94868478094406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) for multi-turn agents relies on sparse terminal rewards that say little about individual steps. Within-group step comparisons depend on reliable state matching and sufficiently diverse sampled outcomes, while direct step scoring may require costly external evaluators, human annotations, or task-specific heuristics. We introduce DeltaTTG to learn a reusable progress signal through a shared progress meter, using low-cost supervision from diverse policies' recorded trajectories without task-specific progress rules. Its supervision target, Token-to-Go (TTG), the number of tokens remaining to be generated until task completion, serves as an observable proxy for remaining completion effort. During actor training, changes in the frozen meter's estimates redistribute outcome-derived advantages across steps without altering the reward, preserving each trajectory's advantage sign and token-average scale. On ALFWorld, PaperSearchQA, and BFCLv3, DeltaTTG improves the average score over GRPO by 5.7 and 7.2 points with Qwen3-4B and Llama-3.1-8B-Instruct, respectively, outperforms all compared RL baselines on average, and keeps actor-training GPU-hours close to GRPO. Further experiments show improved sample efficiency and out-of-domain performance, and support the meter's ability to distinguish step quality and guide test-time action selection across actor sizes. The code is available at https://github.com/Xuyan923r/DeltaTTG.
• Abstract（参考訳）: マルチターンエージェントに対する検証可能な報酬(RLVR)による強化学習は、個々のステップについてはほとんど語らないスパース端末報酬に依存している。 グループ内のステップ比較は、信頼性の高い状態マッチングと十分に多様なサンプル結果に依存し、直接的なステップスコアは、コストのかかる外部評価器、ヒューマンアノテーション、タスク固有のヒューリスティックスを必要とする。 デルタTTGを導入し、タスク固有の進捗ルールを使わずに、多様なポリシーの記録軌跡からの低コストな監視を用いて、共通進捗計を通して再利用可能な進捗信号を学習する。 その監視対象であるToken-to-Go(TTG)は、タスク完了まで生成されるトークンの数であり、完了作業の監視可能なプロキシとして機能する。 アクタートレーニング中、凍結計の見積の変更は、報酬を変更することなく、各トラジェクトリの利点標識とトークン平均スケールを保存することなく、ステップ間で結果から導かれる利点を再分配する。 ALFWorld、PaperSearchQA、BFCLv3では、DeltaTTGは、Qwen3-4BとLlama-3.1-8B-InstructでGRPOの平均スコアを5.7と7.2に改善し、それぞれRLベースラインを比較し、GRPOに近いアクタトレーニングGPU時間を維持する。 さらに、サンプル効率とドメイン外のパフォーマンスを改善し、ステップ品質を識別し、アクターサイズをまたいだテストタイムアクション選択をガイドするメーターの能力をサポートする。 コードはhttps://github.com/Xuyan923r/DeltaTTGで入手できる。

関連論文リスト

• Back to the Definition: Estimating Step-Level Advantages via Trajectory Graphs for Agentic Reinforcement Learning [23.065672098899213]
  グループベース強化学習(RL)手法は、推論とエージェント型大規模言語モデル(LLM)を訓練するための主要なパラダイムとなっている。 グループ正規化による優位推定は応答レベルでは信頼できるが、ステップレベルでは体系的にバイアスとなる。 本稿では,すべてのロールアウトトラジェクトリをトラジェクトリグラフに移植するグラフベースのFithful sTepレベルクレジットアサインメントフレームワーク(GRAFT)を提案する。
  論文  参考訳（メタデータ） (2026-09-24T03:20:58Z)
• TRCA: Transition-wise Rubric Credit Assignment for Long-horizon LLM Agents [22.01777615106231]
  Long-Horizon Large Language Model (LLM) エージェントは通常、スパース終端結果に最適化される。 本稿では、ステップレベルの監督を行動誘発遷移から直接引き出すトランジッションワイド・クレジット・アサインメントを提案する。 ALFWorld、WebShop、および7つの検索拡張された質問回答ベンチマークの実験は、評価されたベースラインよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-08-17T06:19:12Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Learn Where Outcomes Diverge: Efficient VLA RL via Probabilistic Chunk Masking [5.238545250784642]
  本稿では,軌道毎のチャンクの小さな確率的に選択されたサブセットに勾配を割り当てるGRPOのドロップイン修正である確率的チャンクマスキング(PCM)を提案する。 3つのLIBEROベンチマークでは、PCMは標準GRPOの最終的な成功率と一致し、2.38倍のウォールクロック速度、4.8倍の勾配更新、60%のピークアクティベーションメモリを達成した。
  論文  参考訳（メタデータ） (2026-05-15T16:33:59Z)
• IG-Search: Step-Level Information Gain Rewards for Search-Augmented Reasoning [8.584560411480647]
  我々は、情報ゲイン(IG)に基づくステップレベルの報酬を導入する強化学習フレームワークIG-Searchを提案する。 検索ステップ毎に、IGは、検索した文書が、ランダム文書の反実的ベースラインに対して、ゴールド回答に対するモデルの信頼性をどれだけ向上するかを測定する。 実験の結果、IG-SearchはQwen2.5-3Bで平均0.430のEMを達成し、最も高い軌道レベルのベースライン(MR-Search)を1.6ポイント上回った。
  論文  参考訳（メタデータ） (2026-04-16T15:22:47Z)
• Beyond Verifiable Rewards: Rubric-Based GRM for Reinforced Fine-Tuning SWE Agents [9.505140329883762]
  よりリッチな学習信号を提供するジェネレーティブ・リワード・モデル(GRM)を導入する。 GRMには、特定の行動パターンを奨励または阻止するための基準を示す、人間によって設計されたルーリックが備わっている。 SWEタスク上でRFT(Reinforced Fine-Tuning)に使用する場合,本手法は終端スコアのみのリジェクションサンプリングよりも優れる。
  論文  参考訳（メタデータ） (2026-03-13T02:23:49Z)
• A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
  現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。 本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
  論文  参考訳（メタデータ） (2026-03-04T07:23:54Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。