論文の概要: DriftOPD: Sequence-Level Reverse-KL Distillation for One-Step VLA Policies
- arxiv url: http://arxiv.org/abs/2610.00317v1
- Date: Tue, 29 Sep 2026 02:55:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.607776
- Title: DriftOPD: Sequence-Level Reverse-KL Distillation for One-Step VLA Policies
- Title（参考訳）: DriftOPD : ワンステップVLA用逆KL蒸留法
- Abstract要約: DriftOPDは、連続VLAアクションエキスパートのシーケンスレベルのオンライン蒸留のための教師不要でロールアウト不要なフレームワークである。
逐次レベルの逆KL(Kulback-Leibler)の分散はチャンクレベルの逆KL項と、現在の作用の長い水平効果を捉える未来ポテンシャル項に分解されることを示す。
- 参考スコア（独自算出の注目度）: 41.98321929064213
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Vision-Language-Action (VLA) models increasingly rely on action experts that generate short action chunks under receding-horizon control. While chunk-level training is convenient across robot embodiments, it optimizes local action likelihood without explicitly accounting for long-horizon task success. Sequence-level reinforcement learning can address this limitation, but typically requires policy rollouts and closed-loop interaction, which are costly for real-robot manipulation. We introduce DriftOPD, a teacher-free, rollout-free framework for sequence-level on-policy distillation of continuous VLA action experts. We show that the sequence-level reverse Kullback-Leibler (KL) divergence decomposes into a chunk-level reverse-KL term and a future-potential term that captures the long-horizon effect of the current action. DriftOPD optimizes these two terms using a one-step drifting objective and a Q-function critic learned from offline demonstrations, respectively, enabling sequence-level optimization with only offline data and one-step action generation. Across multiple VLA architectures in simulation and real-world manipulation, DriftOPD generally outperforms existing one-step distillation baselines while achieving task success performance comparable to multi-step teacher policies. These results demonstrate that long-horizon behavior can be effectively distilled into one-step VLA action experts without online interaction or a separate teacher.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、後退水平制御の下で短いアクションチャンクを生成するアクションエキスパートにますます依存している。
チャンクレベルのトレーニングは、ロボットの実施によって便利であるが、長時間の作業の成功を明示的に考慮せずに、局所的な行動可能性の最適化を行う。
シーケンスレベルの強化学習はこの制限に対処できるが、一般的にはポリシーのロールアウトとクローズドループのインタラクションを必要とする。
DriftOPDは、連続VLAアクションエキスパートのシーケンスレベルのオンライン蒸留のための教師不要でロールアウト不要なフレームワークである。
逐次レベルの逆KL(Kulback-Leibler)の分散はチャンクレベルの逆KL項と、現在の作用の長い水平効果を捉える将来のポテンシャル項に分解されることを示す。
DriftOPDは、オフラインのデモから学んだ1ステップのドリフト目標と1ステップのアクション生成のみでシーケンスレベルの最適化を可能にするQ関数批評家を用いて、これらの2つの用語を最適化する。
シミュレーションと実世界の操作における複数のVLAアーキテクチャ全体において、DriftOPDは、既存の1ステップ蒸留ベースラインよりも優れ、マルチステップの教師ポリシーに匹敵するタスク成功性能を実現している。
これらの結果から,長時間の行動はオンラインインタラクションや個別の教師がいなくとも,ワンステップのVLAアクションエキスパートに効果的に蒸留できることが示唆された。
関連論文リスト
- Act More, Decide Less: Skill-Guided Adaptive Action Chunking for Long-Horizon LLM Agents [50.85250898062218]
大規模言語モデル(LLM)エージェントは、通常、ReActスタイルのプロトコルに従う。
自然な方法は、エージェントが可変長のアクションチャンクを出力することです。
しかし、こうした政策を標準的な強化学習で素直に訓練することは失敗する。
論文 参考訳（メタデータ） (2026-09-02T03:17:11Z) - Beyond Flat Policies: Hierarchical Post-Training for Embodied Agents in Robotic Manipulation [34.87301719899886]
視覚言語アクション(VLA)モデルは、事前訓練された視覚言語モデルを活用することで、ロボット操作において顕著な能力を示した。
既存のポストトレーニング手法は、主にVLAモデルをフラットポリシーとして最適化し、タスクの進行を明示的にモデル化し、堅牢な長距離操作を行うのが困難である。
階層型ロボット制御(HiRoC)は,ハイレベルなタスク計画と低レベルなアクション実行を分離する階層型ポストトレーニングフレームワークである。
論文 参考訳（メタデータ） (2026-08-06T13:07:56Z) - PAMAE: Phase-Aware-MoE Action Experts Towards Reliable Flow-Matching Vision-Language-Action Policies [28.540030493490253]
我々はPAMAE(Plug-and-play Phase-Aware Mixture-of-Experts Action Module)を提案する。
PAMAEは、トレーニング済みのVLAバックボーンを保存しながら、元のフローマッチングアクションエキスパートをスパース専門家の混合物で置き換える。
マルチステージ操作シミュレーションタスクでは、PAMAEは強力なVLAベースラインよりも最大で textbf9.2% のタスク成功を改善する。
論文 参考訳（メタデータ） (2026-06-25T15:17:43Z) - Long-Horizon Manipulation via Trace-Conditioned VLA Planning [55.80061850746898]
LoHo-Manipは、短い水平VLA実行を専用のタスク管理VLMを介して長い水平命令にスケールするフレームワークである。
LoHo-Manipは、サブタスクシーケンスと明示的な完了+残り分割を軽量言語メモリとして組み合わせた、進捗対応の残計画を予測する。
実行器VLAは、レンダリングされたトレースの条件に適合し、長い水平決定を繰り返しローカル制御に変換する。
論文 参考訳（メタデータ） (2026-04-23T17:59:04Z) - Jump-Start Reinforcement Learning with Vision-Language-Action Regularization [1.2599533416395767]
強化学習(RL)は、ロボット操作のための高周波閉ループ制御を可能にする。
現在の制限は、高速かつ正確な操作において直接の使用を妨げる。
探索と学習効率を向上させるために,VLAJS(Vision-Language-Action Jump-Starting)を提案する。
論文 参考訳（メタデータ） (2026-04-15T11:17:54Z) - Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
本稿では, 自己補正VLA (SC-VLA) を提案する。
SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
論文 参考訳（メタデータ） (2026-02-25T06:58:06Z) - VLA-RAIL: A Real-Time Asynchronous Inference Linker for VLA Models and Robots [5.308743386891208]
VLA(Vision-Language-Action)モデルは、ロボット工学において画期的な進歩を遂げた。
連続したアクションチャンクのキューを融合する戦略は、VLAモデル全体のパフォーマンスに大きな影響を与える。
既存の方法は、ロボットアクションの実行時にジッタ、ストール、あるいは停止に悩まされる。
本稿では,モデル推論とロボット動作制御を非同期に行うように設計された新しいフレームワークであるVLA-RAILを紹介する。
論文 参考訳（メタデータ） (2025-12-31T06:59:42Z) - Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。
我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
論文 参考訳（メタデータ） (2025-12-02T14:42:54Z) - DEAS: DEtached value learning with Action Sequence for Scalable Offline RL [46.40818333031899]
Action Sequence(DEAS)は、アクションシーケンスをバリュー学習に活用する、シンプルだが効果的なオフラインRLフレームワークである。
DEASはOGBenchの複雑な長期タスクのベースラインを一貫して上回る。
大規模ビジョン・ランゲージ・アクションモデルの性能向上に応用できる。
論文 参考訳（メタデータ） (2025-10-09T03:11:09Z) - Action-Quantized Offline Reinforcement Learning for Robotic Skill
Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。
本稿では,アクション量子化のための適応型スキームを提案する。
IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-10-18T06:07:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。