論文の概要: Replan for Error Recovery: Training Embodied VLMs through Verifiable Interaction with Action-Grouped Turn-GSPO
- arxiv url: http://arxiv.org/abs/2610.27003v1
- Date: Mon, 19 Oct 2026 09:49:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.419159
- Title: Replan for Error Recovery: Training Embodied VLMs through Verifiable Interaction with Action-Grouped Turn-GSPO
- Title（参考訳）: 誤り回復のためのリプラン:アクショングループターンGSPOと検証可能なインタラクションによる身体的VLMのトレーニング
- Abstract要約: Embodied Replanning for Recovery Environment (ERR-Env)を導入し,タスクの進捗と実行エラーに対するフィードバックを提供する。
次に、回復能力と実行信頼性を評価するために、名目、中間、エラー状態にまたがるホールドアウトタスクのベンチマークであるERR-Benchを構築した。
次に,タスク進行とエラー状態に対するターンレベル報酬と,行動群優位性推定を組み合わせたオンライン強化学習手法であるAction-Grouped Turn-GSPO(AGT-GSPO)を提案する。
- 参考スコア（独自算出の注目度）: 10.996725740932439
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embodied VLMs can execute increasingly complex manipulation tasks, yet execution errors can leave the environment in states that require replanning for recovery. Existing recovery methods either rely on inference-time mechanisms with fixed policies or learn from failure examples and reference corrections rather than verified action outcomes. To enable recovery learning through verifiable interaction, we introduce the Embodied Replanning for Recovery Environment (ERR-Env), which provides feedback on task progress and execution errors. We further construct ERR-Bench, a benchmark with held-out tasks spanning nominal, intermediate, and error states for evaluating recovery capability and execution reliability. We then propose Action-Grouped Turn-GSPO (AGT-GSPO), an online reinforcement learning method combining turn-level rewards for task progress and error states with action-grouped advantage estimation, and use it to train ERR-VLM, a compact 2B embodied VLM. Evaluation on ERR-Bench reveals a mismatch between task progress and execution reliability across diverse VLMs. AGT-GSPO improves ERR-VLM by 10.25 percentage points in Strict Success Rate for error-free completion and 22.95 percentage points in Recovery Rate, while ablations and zero-shot transfer further validate the effectiveness of our method.
- Abstract（参考訳）: エンボディされたVLMは、ますます複雑な操作タスクを実行することができるが、実行エラーは、リカバリの計画変更を必要とする状態に置かれる可能性がある。
既存のリカバリ手法は、固定されたポリシを持つ推論時メカニズムに依存するか、あるいは、検証されたアクション結果ではなく、失敗例や参照修正から学ぶかのどちらかである。
検証可能なインタラクションによるリカバリ学習を実現するために,タスクの進捗と実行エラーに対するフィードバックを提供するEmbodied Replanning for Recovery Environment (ERR-Env)を導入する。
さらに、回復能力と実行信頼性を評価するために、名目、中間、エラー状態にまたがるホールドアウトタスクのベンチマークであるERR-Benchを構築した。
次に、タスク進行とエラー状態に対するターンレベル報酬と、アクション群優位推定を組み合わせたオンライン強化学習手法であるAction-Grouped Turn-GSPO(AGT-GSPO)を提案し、それを用いて、コンパクトな2B実装VLMであるERR-VLMを訓練する。
ERR-Benchの評価は、タスク進捗と様々なVLMにおける実行信頼性のミスマッチを明らかにする。
AGT-GSPOはERR-VLMを10.25ポイント改善し,再現率を22.95ポイントとした。
関連論文リスト
- RESETTLE: Robotic Recovery through Disagreement-Triggered Retrieval and Efficient Corrective Control [92.47481295713227]
本稿では,凍結ロボットポリシーのアクション・エグゼクティブ・インタフェースにおいて,効率的なリカバリのためのモデルに依存しないフレームワークであるRESETTLEを紹介する。
適応されたV-JEPAエンコーダを使用して、同じタスクのデモ参照を取得する。
LIBERO-Plus、Meta-World、RoboCasaでは最大8.70%、6.28%、絶対的な成功率6.83%に達する。
論文 参考訳（メタデータ） (2026-10-08T15:49:03Z) - VLA-Corrector: Stage-Aware Observable State Understanding for Prompt-Based Closed-Loop Recovery of Vision-Language-Action Policies [12.698552476812855]
VLA(Vision-Language-Action)ポリシーによる長距離ロボット操作は、実行時の逸脱に対して脆弱である。
本稿では,固定VLAポリシのクローズループ修正を可能にする,ステージアウェアの故障検証とPromptリカバリフレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-06T09:50:30Z) - RA-VLA: Retrieval-Augmented VLA for Test-Time Adaptation [19.642319972162255]
本稿では,行動整合型コンテキスト検索と接地型実行パイプラインを統合した検索拡張VLAフレームワークであるRA-VLAを提案する。
RA-VLAは優れた成功率と計算効率を実現し、トレーニング不要なロボット適応のための堅牢なフレームワークを確立する。
論文 参考訳（メタデータ） (2026-08-26T09:52:30Z) - HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。
HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文 参考訳（メタデータ） (2026-06-10T01:35:34Z) - Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation [71.16738415436458]
本稿では、生の障害フィードバックを補正管理のアクティブソースに変換するフレームワークであるReflection-Enhanced Self-Distillation(RESD)を紹介する。
RESDは、局所的なエラーを診断するために振り返りリフレクションを生成し、持続的なグローバルなプレイブックをキュレートすることで、障害の軌跡を解釈する。
複数の連続学習課題に対する実証的な評価は、RESDが標準の自己蒸留ベースラインを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2026-05-12T20:46:05Z) - RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models [90.39703013636868]
RePO-VLAは、リカバリ駆動のポリシー最適化フレームワークである。
成功、回復、失敗の軌跡に異なる役割を割り当てる。
対人的な成功は、平均で20%から75%、実世界の規模で80%まで上昇する。
論文 参考訳（メタデータ） (2026-05-10T08:24:05Z) - Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。
連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。
複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
論文 参考訳（メタデータ） (2026-02-04T05:37:09Z) - CycleVLA: Proactive Self-Correcting Vision-Language-Action Models via Subtask Backtracking and Minimum Bayes Risk Decoding [60.06899554269808]
サイクロンVLA(CycleVLA)は、VLA(Vision-Language-Action Model)を積極的に自己補正するシステムである。
CycleVLAは、重要なサブタスク遷移ポイントにフラグを付けるプログレス対応のVLAを統合することで、これを実現する。
大規模な実験により、CycleVLAは、よく訓練されたVLAと訓練されていないVLAの両方のパフォーマンスを改善することが示された。
論文 参考訳（メタデータ） (2026-01-05T17:31:01Z) - Regularized Behavior Value Estimation [31.332929202377]
正規化行動値推定(R-BVE)を導入する。
R-BVEはトレーニング中の行動方針の価値を推定し、展開時にのみ政策改善を行います。
我々は,RL Unplugged ATARIデータセットの最先端性能を含む,R-BVEの有効性の実証的な証拠を多数提供する。
論文 参考訳（メタデータ） (2021-03-17T11:34:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。