論文の概要: Multi-Teacher On-Policy Distillation for Flow-Based Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2610.21522v1
- Date: Thu, 15 Oct 2026 08:55:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.296819
- Title: Multi-Teacher On-Policy Distillation for Flow-Based Vision-Language-Action Models
- Title（参考訳）: フローベース・ビジョン・ランゲージ・アクションモデルのためのマルチ教師オンポリシィ蒸留
- Abstract要約: 学生主導型環境相互作用と教師の速度管理を結合した2段階のオンライン蒸留フレームワークを提案する。
LIBERO-40では22.55%,CALVINでは33.4%,Meta-World MT50では22.6%である。
- 参考スコア（独自算出の注目度）: 22.724016138727915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Specialized vision-language-action (VLA) policies acquire strong domain-specific skills, yet consolidating these skills into one shared policy remains challenging. On-policy distillation (OPD) transfers teacher knowledge on inputs induced by the student, addressing the distribution mismatch encountered during deployment. For flow-based VLAs, this mismatch arises at two levels: environment observations and intermediate action-generation states. We propose a two-level on-policy distillation framework that couples student-driven environment interaction with teacher velocity supervision along student-generated action flow trajectories. Frozen domain specialists jointly supervise one student. After each update, the student collects new environment experience and generates fresh action-flow trajectories. Starting from a joint supervised fine-tuning (SFT) initialization, Velocity Loss OPD yields absolute success-rate gains of 22.55% on LIBERO-40, 33.4% on CALVIN five-instruction sequences, and 22.6% on Meta-World MT50. Compared with Action Loss OPD and Teacher-rollout SFT, it achieves absolute success-rate gains of 6.4-9.5% on LIBERO-40, 9.7-18.3% on CALVIN, and 3.2-4.2% on Meta-World MT50. Analysis by sequence length further shows larger success-rate gains on longer CALVIN sequences. These results demonstrate effective multi-domain capability consolidation through two-level on-policy supervision, with a single student deployed across domains.
- Abstract（参考訳）: 特殊視覚言語アクション(VLA)ポリシーは、強力なドメイン固有のスキルを取得するが、これらのスキルをひとつの共有ポリシーに統合することは依然として困難である。
オンライン蒸留(OPD)は、学生が引き起こした入力に関する教師の知識を伝達し、配置中に遭遇した分布ミスマッチに対処する。
フローベースのVLAでは、このミスマッチは環境観測と中間的な行動生成状態の2つのレベルで発生する。
本研究では,学生主導型環境相互作用と教師の速度管理を両立させる2段階のオンライン蒸留フレームワークを提案する。
凍ったドメインスペシャリストは1人の生徒を共同で監督します。
更新後、学生は新しい環境体験を収集し、新しいアクションフロートラジェクトリを生成する。
SFTの初期化から始めて、Velocity Loss OPDはLIBERO-40で22.55%、CALVINで33.4%、Meta-World MT50で22.6%の絶対成功率を得る。
Action Loss OPDやTeach-rollout SFTと比較して、LIBERO-40では6.4-9.5%、CALVINでは9.7-18.3%、Meta-World MT50では3.2-4.2%という絶対的な成功率を達成した。
配列長による解析により、より長いCALVIN配列における成功率の上昇を示す。
これらの結果は、ドメインにまたがって1人の学生が配置された2段階のオン・ポリティクスによる効果的なマルチドメイン機能の統合を実証する。
関連論文リスト
- LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts [56.21252928632393]
専門家によるデモのスケーリングだけでは、一般的なロボットポリシーがデプロイメントから改善されることはない。
この完全品質スペクトルから直接学習する閉ループワールドアクションモデルである textbfLoopWAM を導入する。
音源依存ノイズサンプリングは行動学習と行動条件付き世界モデリングを統合する。
ビデオトークンとアクショントークンは並列denoisingを通じて相互作用し、学習結果がアクション生成を直接通知する。
論文 参考訳（メタデータ） (2026-10-13T17:59:56Z) - Axiom-0: Hierarchical Self-Refinement for Vision-Language-Action Policies [38.66689467601669]
視覚言語アクション(VLA)モデルは、事前訓練されたマルチモーダル理解と学習制御を組み合わせるが、その性能は相変わらず不慣れなタスク構成に限られている。
本稿では、その表現の質と、階層的自己精製による行動生成における使用の両方に対処するVLAポリシーであるAxiom-0を提案する。
RoboCasa365では、Axiom-0が62.32%の成功を達成し、最高スコア(Paimon-0, 58.1%)を4.22ポイント上回った。
論文 参考訳（メタデータ） (2026-10-09T16:48:59Z) - Direct Experience World-Model Optimization: Learning the World Beyond Action Imitation [13.304916656517472]
World-Action Models (WAM) は、物理的な相互作用がどのように展開されるかを予測するアクション生成を結合する。
WAMのための後処理学習パラダイムであるDirect Experience World-Model Optimization (DEWO)を提案する。
論文 参考訳（メタデータ） (2026-09-29T12:41:41Z) - SCULPT-VLA: Learning Structured Control through Staged Action Grounding [27.491639887254596]
textbfSCULPT-VLAは,段階的行動接地を通して構造化制御を学習する政策である。
SimplerEnv-WidowXでは、最終成功率は83.5%であり、Stage-IIアクション学習が視覚と言語に直接アクセスする場合は71.3%である。
論文 参考訳（メタデータ） (2026-09-20T01:13:28Z) - On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳（メタデータ） (2026-08-25T14:55:24Z) - From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents [16.67357658768852]
我々は,OVCSD(Outcome-Verified Comparison Self-Distillation)を提案する。
OVCSDは失敗に終わった学生をプレフィックスツリーに配置し、学生が設定した状態からスキル条件の教師を適応的に呼び出す。
3つのモデルスケールにわたるALFWorldとWebShopの実験は、OVCSDがスキルのないRLと既存の自己蒸留ベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-07-30T09:47:58Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - Revisiting DAgger in the Era of LLM-Agents [35.615579397673166]
ロングホライゾン LM エージェントはマルチターン相互作用から学習し、1つの早期誤りがその後の状態分布を変化させ、全軌道を脱線させる。
教師の微調整によって教師の監督が密集し、検証可能な報酬による強化学習は、この非政治的なミスマッチを避ける。
マルチターンLMエージェントのデータセットアグリゲーション(DAgger)を再検討することにより,このジレンマに対処する。
論文 参考訳（メタデータ） (2026-05-13T02:40:28Z) - Uni-OPD: Unifying On-Policy Distillation with a Dual-Perspective Recipe [53.40076304466524]
LLM(Large Language Models)とMLLM(Multimodal Large Language Models)をまたいで一般化する統一OPDフレームワークであるUni-OPDを提案する。
具体的には、学生の立場から、学習中の情報発信状態の探索を促進するために、2つのデータバランス戦略を採用する。
我々は,正しい軌道と間違った軌道の順序の整合性を取り戻すために,結果誘導マージンキャリブレーション機構を開発した。
論文 参考訳（メタデータ） (2026-05-05T12:15:21Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。