論文の概要: OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2610.12914v1
• Date: Fri, 09 Oct 2026 03:04:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.36505
• Title: OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models
• Title（参考訳）: OGPO:Recoverable Vision-Language-Action Modelのためのオフラインゴール条件ポリシー最適化
• Abstract要約: OGPOは、オフラインゴール条件付きポリシー最適化フレームワークで、回復可能なVLAポストトレーニングを実現する。 我々は,OGPOが標準教師付き微調整よりも常にVLAポリシーの性能を向上させることを示す。
• 参考スコア（独自算出の注目度）: 17.30477405445069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language-action (VLA) models have shown strong promise in robotic manipulation, yet their post-training still predominantly relies on trajectory-level supervised imitation over robot demonstrations. While effective for learning feasible actions, this paradigm supervises policies to reproduce expert actions at each step, biasing them toward demonstration-specific action paths and providing limited guidance for recovering toward task-progress states once execution deviates from demonstrated trajectories. To address this limitation, we propose OGPO, an Offline Goal-conditioned Policy Optimization framework for recoverable VLA post-training. Instead of treating offline demonstrations merely as step-wise action labels, OGPO adaptively relabels trajectories with semantic key states and constructs goal-conditioned process rewards to optimize the policy for reaching these task-progress states. In this way, OGPO shifts VLA post-training from trajectory-level action imitation to key-state reachability learning, enabling policies to acquire a more robust ability to complete goal states from feasible off-demonstration states without requiring additional online interaction. Experiments on LIBERO and MetaWorld show that OGPO consistently improves VLA policy performance over standard supervised fine-tuning. Moreover, evaluations on LIBERO-Plus and our proposed LIBERO-ReAct, a mid-execution perturbation benchmark, further demonstrate that OGPO achieves stronger robustness and goal-directed recoverability under distribution shifts and recoverable off-demonstration states.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルはロボット操作において強い将来性を示しているが、ポストトレーニングはロボットのデモンストレーションよりも軌道レベルの監督された模倣に大きく依存している。 実行可能な行動の学習には有効であるが、このパラダイムは各ステップで専門家の行動を再現するポリシーを監督し、実証固有の行動経路に偏り、実行が実証軌道から逸脱するとタスク進行状態に回復するための限られたガイダンスを提供する。 この制限に対処するため、我々はオフラインゴール条件付き政策最適化フレームワークであるOGPOを提案する。 オフラインのデモンストレーションをステップワイズアクションラベルとして扱う代わりに、OGPOはセマンティックキーステートでトラジェクトリを適応的にリラベルし、ゴール条件付きプロセス報酬を構築し、これらのタスクプログレッシブステートに到達するためのポリシーを最適化する。 このようにして、OGPOはVLAのポストトレーニングを軌道レベルの行動模倣からキー状態の到達可能性学習にシフトさせ、オンラインの交流を必要とせず、より堅牢な目標状態の達成を可能にする。 LIBEROとMetaWorldの実験は、OGPOが標準教師付き微調整よりも一貫してVLAポリシーの性能を改善していることを示している。 さらに,中間実行摂動ベンチマークであるLIBERO-Plusと提案したLIBERO-ReActの評価により,OGPOが分散シフト下で強い強靭性と目標指向の回復性を実現し,オフデーモン状態から回復可能であることを示す。

関連論文リスト

• REFINEPPO: Learning Continuous Control Policies by Iterative Action Refinement [0.0]
  IAR(Iterative Action Refinement)は,学習された残差補正のシーケンスを通じて制御動作を構築する反復的動作再構成法である。 我々は、この反復的な行動構成機構をPPO(Proximal Policy Optimization)と統合し、REFINEPPOを生成する。 我々は,14のベンチマーク制御タスクに対してREFINEPPOを評価し,改良深度制御と更新スケジュール,反復改良が有効である理由の解明を目的とした解析を行った。
  論文  参考訳（メタデータ） (2026-09-17T21:48:04Z)
• VLA-Corrector: Stage-Aware Observable State Understanding for Prompt-Based Closed-Loop Recovery of Vision-Language-Action Policies [12.698552476812855]
  VLA(Vision-Language-Action)ポリシーによる長距離ロボット操作は、実行時の逸脱に対して脆弱である。 本稿では,固定VLAポリシのクローズループ修正を可能にする,ステージアウェアの故障検証とPromptリカバリフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-06T09:50:30Z)
• ROAD-VLA: Robust Online Adaptation via Self-Distillation for Vision-Language-Action Models [11.1063401404824]
  そこで本稿では,アクション・トケン・ロジットをキャリブレートした利得推定値で摂動することで,教師を直接行動空間に構築するアドバンテージ誘導型自己蒸留フレームワークを提案する。 ROADVLAは7つのロボット操作環境の内分布と外分布シフトにより、ほぼすべての環境でPPOを上回っている。
  論文  参考訳（メタデータ） (2026-06-24T13:17:59Z)
• Anticipation-VLA: Solving Long-Horizon Embodied Tasks via Anticipation-based Subgoal Generation [23.021987362787225]
  VLA(Vision-Language-Action)モデルは、インテリジェンスを具現化する強力なパラダイムとして登場した。 本稿では,予測モデルを利用して動作可能なサブゴールを生成する階層型VLAモデルであるPrecipation-VLAを提案する。 我々は、高レベルサブゴール生成のための統一マルチモーダルモデル(UMM)を微調整し、低レベル動作実行のための目標条件付きVLAポリシーを実装した予測-VLAを実装した。
  論文  参考訳（メタデータ） (2026-05-03T08:11:35Z)
• PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations [66.94988600664574]
  我々は,目標達成型強化学習を通じて事前学習を再構築するVLA基盤モデルであるtextbfPRTS(textbfPrimitive textbfReasoning and textbfTasking textbfSystem)を提案する。
  論文  参考訳（メタデータ） (2026-04-30T06:14:02Z)
• See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
  本稿では,See, Plan, Rewind (SPR)について紹介する。 SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。 SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
  論文  参考訳（メタデータ） (2026-03-10T07:22:51Z)
• Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
  本稿では, 自己補正VLA (SC-VLA) を提案する。 SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
  論文  参考訳（メタデータ） (2026-02-25T06:58:06Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• Zero-Shot Whole-Body Humanoid Control via Behavioral Foundation Models [71.34520793462069]
  教師なし強化学習(RL)は、複雑な環境下で幅広い下流タスクを解くことができる事前学習エージェントを目標としている。 本稿では,ラベルのない行動データセットからトラジェクトリを模倣するための,教師なしRLの正規化アルゴリズムを提案する。 我々は,この手法の有効性を,挑戦的なヒューマノイド制御問題において実証する。
  論文  参考訳（メタデータ） (2025-04-15T10:41:11Z)
• Plan Your Target and Learn Your Skills: Transferable State-Only Imitation Learning via Decoupled Policy Optimization [44.32548301913779]
  本稿では,Decoupled Policy Optimization (DePO)を導入し,政策を高レベルな状態プランナと逆ダイナミクスモデルとして明確に分離する。 組込み型疎結合政策勾配と生成的逆行訓練により、DePOは異なる行動空間や状態遷移力学への知識伝達を可能にする。
  論文  参考訳（メタデータ） (2022-03-04T09:46:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。