論文の概要: Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.13026v1
• Date: Thu, 13 Aug 2026 09:54:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.466991
• Title: Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning
• Title（参考訳）: 時間的GRPO:ビジョン・ランゲージ・アクション強化学習におけるトラジェクティブ・レベル・クレジットを超えて
• Abstract要約: アウトカム駆動強化学習は、タスク・サクセスの少ないフィードバックから、視覚-言語-アクション(VLA)ポリシーをトレーニング後処理するスケーラブルな方法を提供する。 RoboTwin 2.0では、Temporal GRPOがタスク成功とサンプル効率を改善し、タスク水平線を一貫したゲインを実現している。
• 参考スコア（独自算出の注目度）: 27.507258147328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Outcome-driven reinforcement learning offers a scalable way to post-train vision-language-action (VLA) policies from sparse task-success feedback. In common GRPO-based VLA post-training, one rollout-level advantage is applied to every action in the trajectory. A rollout that completes several valid stages but fails later can therefore penalize the actions that produced its earlier progress. We call this trajectory-level credit aliasing. Temporal GRPO addresses this problem by constructing detectable task stages, aligning each rollout with stage-specific action intervals, and comparing only rollouts that have entered the same stage. The resulting stage advantages are applied to their corresponding intervals in a single policy update. On RoboTwin 2.0, Temporal GRPO improves task success and sample efficiency, with consistent gains across task horizons. Controlled updates on LIBERO-Long preserve shared prerequisite stages and concentrate improvement at the first stage where rollout outcomes diverge.
• Abstract（参考訳）: アウトカム駆動強化学習は、タスク・サクセスの少ないフィードバックから、視覚-言語-アクション(VLA)ポリシーをトレーニング後処理するスケーラブルな方法を提供する。 GRPOベースのVLAポストトレーニングでは、軌道上のすべてのアクションに対して1つのロールアウトレベルのアドバンテージが適用される。 いくつかの有効な段階を完了したが、後に失敗するロールアウトは、初期の進歩を生んだアクションを罰することができる。 私たちはこのトラジェクティブレベルクレジットエイリアス(trajectory level credit aliasing)と呼んでいる。 時間的GRPOは、検出可能なタスクステージを構築し、各ロールアウトをステージ固有のアクションインターバルに整列させ、同じステージに入ったロールアウトのみを比較することで、この問題に対処する。 結果として得られたステージアドバンテージは、単一のポリシー更新で対応するインターバルに適用される。 RoboTwin 2.0では、Temporal GRPOがタスク成功とサンプル効率を改善し、タスク水平線を一貫したゲインを実現している。 LIBERO-Longの制御された更新は、共有必須段階を保持し、ロールアウト結果が分岐する最初の段階で改善に集中する。

関連論文リスト

• PACE: Phase-Progress-Aware Credit for Long-Horizon Embodied Manipulation [17.66354304197193]
  政策改善には段階的な信用信号が要求され、タスクを進行させる行動と停滞または後退する行動とを区別する。 PACEは,長期操作のポストトレーニングのためのクレジットアサインメントフレームワークである。
  論文  参考訳（メタデータ） (2026-08-15T04:25:16Z)
• Progress-conditioned Group Policy Optimization for Long-Horizon Agentic Tasks [17.832722956008656]
  グループベースのポリシー最適化は、粗末な結果報酬から大規模言語モデル(LLM)エージェントを訓練するために、ますます使われてきている。 本稿では,グループ内のすべてのサンプルが結果報酬をゼロにした場合にのみ,初回観察カバレッジを利用するプログレッシブ条件付きグループポリシー最適化(ProGPO)を提案する。 ALFWorldとWebShopとQwen2.5-1.5/7B-Instructの2つの挑戦的なエージェントベンチマークの実験は、ProGPOがグループベースのベースラインよりも一貫して改善されていることを示している。
  論文  参考訳（メタデータ） (2026-07-22T04:01:56Z)
• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• ProgVLA: Progress-Aware Robot Manipulation Skill Learning [13.001629637153583]
  本稿では,厳密な計算およびメモリ予算下でのロボット操作のための,コンパクトな視覚言語アクション(VLA)モデルであるProgVLAを提案する。 2段階のPerceiver再サンプリングスキームを持つマルチモーダルエンコーダは、可変長の視覚、言語、固有受容ストリームを、制御可能なコンテキストトークンの固定セットに圧縮する。 前進ヘッドの補助セットは、オフラインの強化学習目標を用いて訓練され、正規化された残地目標に対する批判を共同で学習する。
  論文  参考訳（メタデータ） (2026-05-27T09:44:46Z)
• PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations [66.94988600664574]
  我々は,目標達成型強化学習を通じて事前学習を再構築するVLA基盤モデルであるtextbfPRTS(textbfPrimitive textbfReasoning and textbfTasking textbfSystem)を提案する。
  論文  参考訳（メタデータ） (2026-04-30T06:14:02Z)
• Jump-Start Reinforcement Learning with Vision-Language-Action Regularization [1.2599533416395767]
  強化学習(RL)は、ロボット操作のための高周波閉ループ制御を可能にする。 現在の制限は、高速かつ正確な操作において直接の使用を妨げる。 探索と学習効率を向上させるために,VLAJS(Vision-Language-Action Jump-Starting)を提案する。
  論文  参考訳（メタデータ） (2026-04-15T11:17:54Z)
• See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
  本稿では,See, Plan, Rewind (SPR)について紹介する。 SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。 SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
  論文  参考訳（メタデータ） (2026-03-10T07:22:51Z)
• PALM: Progress-Aware Policy Learning via Affordance Reasoning for Long-Horizon Robotic Manipulation [27.791908160098625]
  PALMは、インタラクション中心のアベイランス推論とサブタスクプログレスキューに関するポリシー学習を構築する。 Palmはシミュレーションや実世界の実験において、一貫してベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-01-11T21:00:58Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• Learning Affordances at Inference-Time for Vision-Language-Action Models [50.93181349331096]
  ロボット工学において、VLA(Vision-Language-Action Model)は複雑な制御タスクを解くための有望な道を提供する。 本稿では,VLAの低レベルポリシーを過去の経験を条件とした高レベルVLMに接続するLITEN(Learning from Inference-Time Execution)を紹介する。 提案手法は,低レベルVLAの計画の生成と実行を行う推論フェーズと,その結果を反映した評価フェーズとを反復する。
  論文  参考訳（メタデータ） (2025-10-22T16:43:29Z)
• PARL-MT: Learning to Call Functions in Multi-Turn Conversation with Progress Awareness [57.020401590532686]
  マルチターン関数呼び出しのためのLLMトレーニングに進捗認識を明示的に組み込むフレームワークであるPARL-MTを導入する。 PARL-MTは既存の手法よりも優れており、堅牢で効率的なマルチターン関数呼び出しの実現における進捗認識の有効性を強調している。
  論文  参考訳（メタデータ） (2025-09-27T09:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。