論文の概要: PACE: Phase-Progress-Aware Credit for Long-Horizon Embodied Manipulation

• arxiv url: http://arxiv.org/abs/2608.15026v1
• Date: Sat, 15 Aug 2026 04:25:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.165295
• Title: PACE: Phase-Progress-Aware Credit for Long-Horizon Embodied Manipulation
• Title（参考訳）: PACE: 長期体操のためのフェーズプログレス対応クレジット
• Abstract要約: 政策改善には段階的な信用信号が要求され、タスクを進行させる行動と停滞または後退する行動とを区別する。 PACEは,長期操作のポストトレーニングのためのクレジットアサインメントフレームワークである。
• 参考スコア（独自算出の注目度）: 17.66354304197193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training of vision-language-action (VLA) models typically relies on expert demonstrations and policy interaction trajectories. However, in long-horizon manipulation, a single episode often spans hundreds of control steps and multiple phases, while success or failure is only revealed at episode termination. Policy improvement therefore requires step-level credit signals to distinguish behaviors that advance the task from those that stall or regress. We present PACE, a credit-assignment framework for post-training on long-horizon manipulation, centered on a phase-progress-aware critic. PACE consists of two key modules: (1) the Global-Local Cooperative Value-Correction Critic (GLC-Critic) aggregates visual and motion-difference features within local temporal windows to infer the phase and intra-phase progress of each step, and applies residual correction to a discretized remaining-cost distribution accordingly, enabling step-level credit assignment; (2) Progressive Policy Distillation (PPD) converts credit into positive and negative conditions via task-wise thresholds and trains a credit-conditioned action generation policy: it first protects the pretrained policy with high-credit positive samples, then incorporates all positive and negative credits to learn the quality boundary, and at inference amplifies high-credit behaviors through the difference between conditional outputs. Extensive simulation experiments and diverse real-world robotic-arm experiments demonstrate that PACE consistently achieves significant improvements over the strongest baseline.
• Abstract（参考訳）: ビジョン・ランゲージ・アクション(VLA)モデルのポストトレーニングは通常、専門家によるデモンストレーションと政策間相互作用の軌跡に依存している。 しかし、ロングホライゾン操作では、1回のエピソードは数百の制御ステップと複数のフェーズにまたがることが多いが、成功または失敗はエピソード終了時にのみ明らかにされる。 したがって、政策改善には段階的な信用信号が必要であり、タスクを進行させる行動と停滞または後退する行動とを区別する。 我々は、位相プログレッシブ・アウェア・批評家を中心に、長期の操作を後処理で行うためのクレジット・アサインメント・フレームワークである PACE を提案する。 PACEは,(1)グローバル・ローカライズ・コラボレーティブ・バリュー・コレクティブ(GLC-Critic)は,各ステップの位相および位相内進行を推定するために,局部窓内における視覚的・運動的差分特徴を集約し,ステップレベルのクレジット割り当てを可能にするとともに,離散化された残量分布に残差補正を施す。(2)プログレッシブ・ポリシー・蒸留(PPD)は,タスク・ワイド・しきい値による負の条件と負の条件に変換し,信用条件付きアクション生成ポリシーを訓練する。 大規模なシミュレーション実験と多種多様な実世界のロボットアーム実験により、PACEは最強のベースラインよりも大幅に改善されていることが証明された。

関連論文リスト

• PAVE: Predictive Alignment and Value-Guided Evolution for World-Action Policies [17.87859739145508]
  直接視覚-言語-アクションポリシーは、継続的なロボット動作を効率的に生成するが、標準的な行動クローンは2つの相補的なギャップを残している。 結果に依存しない予測学習と結果認識型政策改善を組み合わせた,直接的な世界行動政策である方法を紹介する。
  論文  参考訳（メタデータ） (2026-08-31T07:36:11Z)
• Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning [27.507258147328]
  アウトカム駆動強化学習は、タスク・サクセスの少ないフィードバックから、視覚-言語-アクション(VLA)ポリシーをトレーニング後処理するスケーラブルな方法を提供する。 RoboTwin 2.0では、Temporal GRPOがタスク成功とサンプル効率を改善し、タスク水平線を一貫したゲインを実現している。
  論文  参考訳（メタデータ） (2026-08-13T09:54:14Z)
• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• Gated-BEPO: Confidence-Gated Bellman Credit Assignment for Large Language Model Agents [20.885871857379897]
  長期にわたる環境下での大規模言語モデルエージェントの訓練には、個々の行動に疎い端末結果からクレジットを割り当てる必要がある。 経験的ロールアウトグラフからステップレベルのクレジットを導出するGated-BEPOを提案する。
  論文  参考訳（メタデータ） (2026-08-07T06:38:12Z)
• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• PHASER: Phase-Aware and Semantic Experience Replay for Vision-Language-Action Models [34.954808072081676]
  本稿では,アーキテクチャに依存しない連続学習フレームワークPHASERを紹介する。 フェーズRは、すべてのサブスキルに等しいメモリサポートを保証するために、フェーズ中心のキャパシティアロケーションを使用する。 また、教師なし動作信号変化点検出とVLMに基づくセマンティック検証を組み合わせた軽量パイプラインであるAuto-PCを統合する。
  論文  参考訳（メタデータ） (2026-06-02T13:04:15Z)
• PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations [66.94988600664574]
  我々は,目標達成型強化学習を通じて事前学習を再構築するVLA基盤モデルであるtextbfPRTS(textbfPrimitive textbfReasoning and textbfTasking textbfSystem)を提案する。
  論文  参考訳（メタデータ） (2026-04-30T06:14:02Z)
• Learning to Credit the Right Steps: Objective-aware Process Optimization for Visual Generation [57.61006679699323]
  強化学習は人間の嗜好信号を用いた視覚生成モデルの訓練後の効果的な枠組みとして登場した。 現代の視覚生成では、視覚的品質、動きの整合性、テキストアライメントなどの不均一な目的を捉えるために、複数の報酬モデルがしばしば使用される。 GRPO の微粒化学習のための構造化フレームワークである Objective-Aware Trajectory Credit Assignment (OTCA) を提案する。
  論文  参考訳（メタデータ） (2026-04-21T08:37:13Z)
• AnchorRefine: Synergy-Manipulation Based on Trajectory Anchor and Residual Refinement for Vision-Language-Action Models [60.04879435087352]
  視覚言語アクション(VLA)ポリシーは、単一の統一空間内でアクションを生成する。 本稿では,VLAの動作モデリングを軌跡アンカーと残留精細化に分解する階層的フレームワークであるAnchorRefineを提案する。 LIBERO、CALVIN、および実ロボットタスクの実験では、AnchorRefineは回帰ベースと拡散ベースの両方のVLAバックボーンを一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-20T04:25:24Z)
• Let's Reward Step-by-Step: Step-Aware Contrastive Alignment for Vision-Language Navigation in Continuous Environments [38.97818584066075]
  VLN-CE(Vision-Language Navigation in Continuous Environments)は、長期にわたる人間のインタラクションから複雑な推論を学ぶためのエージェントである。 現在のトレーニングパラダイムは、一般化能力、エラー回復、トレーニング安定性のバランスをとるのに苦労しています。 本稿では,不完全な軌跡から厳密な監視を抽出するためのフレームワークである,ステップアウェアコントラストアライメント(SACA)を紹介する。
  論文  参考訳（メタデータ） (2026-03-10T14:45:50Z)
• PALM: Progress-Aware Policy Learning via Affordance Reasoning for Long-Horizon Robotic Manipulation [27.791908160098625]
  PALMは、インタラクション中心のアベイランス推論とサブタスクプログレスキューに関するポリシー学習を構築する。 Palmはシミュレーションや実世界の実験において、一貫してベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-01-11T21:00:58Z)
• Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
  動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。 我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T14:42:54Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。