論文の概要: T2SPO: Trajectory-to-Step Policy Optimization for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.00388v1
• Date: Wed, 30 Sep 2026 10:34:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.630428
• Title: T2SPO: Trajectory-to-Step Policy Optimization for Agentic Reinforcement Learning
• Title（参考訳）: T2SPO:エージェント強化学習のための軌道-ステップポリシー最適化
• Abstract要約: Trajectory-to-Step Policy Optimizationは、ポリシー学習のためのステップレベルのフィードバックを提供する。 連続した州間の距離推定の変化は、タスクレベルの監督と並行してエージェントステップの補助的信用を与える。 ALFWorldとWebShopでの1.5Bと7Bの言語モデルによる実験は、T2SPOがタスク全体の成功を一貫して改善していることを示している。
• 参考スコア（独自算出の注目度）: 22.083265174873006
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reinforcement learning enables large language model (LLM) agents to learn multi-step behaviors through interaction with their environments. However, rewards in many interactive tasks reflect only the final outcome, providing limited guidance on which intermediate decisions advance the task. Successful training trajectories contain intermediate states that can provide supervision for subsequent interactions. We introduce Trajectory-to-Step Policy Optimization (T2SPO), a method that uses past interaction trajectories to provide step-level feedback for policy learning. T2SPO derives remaining-distance targets from successful trajectories and pairs them with representations of the states visited along the way. Conditioned on these examples, a pretrained TabPFN regressor estimates the remaining distance to success at each state of a new rollout. Changes in this distance estimate across consecutive states yield auxiliary credit for agent steps alongside task-level supervision. As training proceeds, newly completed trajectories refresh the estimator's context, incorporating new experience without updating its parameters. Experiments with 1.5B and 7B language models on ALFWorld and WebShop show that T2SPO consistently improves overall task success over GRPO.
• Abstract（参考訳）: 強化学習は、大規模言語モデル(LLM)エージェントが環境との相互作用を通じて多段階の振る舞いを学習できるようにする。 しかし、多くの対話的なタスクにおける報酬は最終結果のみを反映し、中間的な決定がタスクを前進させるための限られたガイダンスを提供する。 成功した訓練軌道は、その後の相互作用の監督を提供する中間状態を含む。 政策学習のためのステップレベルのフィードバックを提供するために,過去のインタラクショントラジェクトリを利用するトラジェクトリ・トゥ・ステップ・ポリシー・最適化(T2SPO)を導入する。 T2SPOは、軌道軌道の成功から残留距離目標を導き、その途中で訪れた状態の表現と組み合わせる。 これらの例に基づいて、事前訓練されたTabPFN回帰器は、新しいロールアウトの各状態における残余距離を推定する。 この連続状態における距離推定の変化は、タスクレベルの監督と並行してエージェントステップの補助的信用を与える。 トレーニングが進むにつれて、新しく完成した軌道は推定器のコンテキストをリフレッシュし、パラメータを更新せずに新しい経験を取り入れる。 ALFWorldとWebShopでの1.5Bと7Bの言語モデルによる実験は、T2SPOがGRPOよりも全体的なタスク成功を一貫して改善していることを示している。

関連論文リスト

• Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning [27.507258147328]
  アウトカム駆動強化学習は、タスク・サクセスの少ないフィードバックから、視覚-言語-アクション(VLA)ポリシーをトレーニング後処理するスケーラブルな方法を提供する。 RoboTwin 2.0では、Temporal GRPOがタスク成功とサンプル効率を改善し、タスク水平線を一貫したゲインを実現している。
  論文  参考訳（メタデータ） (2026-08-13T09:54:14Z)
• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• PARL-MT: Learning to Call Functions in Multi-Turn Conversation with Progress Awareness [57.020401590532686]
  マルチターン関数呼び出しのためのLLMトレーニングに進捗認識を明示的に組み込むフレームワークであるPARL-MTを導入する。 PARL-MTは既存の手法よりも優れており、堅牢で効率的なマルチターン関数呼び出しの実現における進捗認識の有効性を強調している。
  論文  参考訳（メタデータ） (2025-09-27T09:32:27Z)
• TGRPO :Fine-tuning Vision-Language-Action Model via Trajectory-wise Group Relative Policy Optimization [12.061547251822326]
  Trajectory-based Group Relative Policy Optimization (TGRPO)は、Visual-Language-Action(VLA)モデルのためのオンラインRLベースのトレーニングフレームワークである。 TGRPOの平均成功率は80.7%で、これはスーパーバイザードファインチューニング(SFT)よりも4.2%高く、他の代表的RLベースのポストトレーニング手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-06-10T04:27:49Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• Multi-Agent Transfer Learning via Temporal Contrastive Learning [8.487274986507922]
  本稿では,深層多エージェント強化学習のための新しい伝達学習フレームワークを提案する。 このアプローチは、ゴール条件付きポリシーと時間的コントラスト学習を自動的に組み合わせて、意味のあるサブゴールを発見する。
  論文  参考訳（メタデータ） (2024-06-03T14:42:14Z)
• Language-guided Navigation via Cross-Modal Grounding and Alternate Adversarial Learning [66.9937776799536]
  新たなビジョン・アンド・ランゲージナビゲーション(VLN)問題は、見えない写真リアリスティック環境において、エージェントがターゲットの場所に向かうことを学習することを目的としている。 VLNの主な課題は、主に2つの側面から生じている: まず、エージェントは動的に変化する視覚環境に対応する言語命令の有意義な段落に出席する必要がある。 そこで本稿では,エージェントにテキストと視覚の対応性を追跡する機能を持たせるために,クロスモーダルグラウンドモジュールを提案する。
  論文  参考訳（メタデータ） (2020-11-22T09:13:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。