論文の概要: NestedVLA: Learning to Consolidate and Generate Skills for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2610.23271v2
- Date: Mon, 19 Oct 2026 03:17:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 06:32:45.330009
- Title: NestedVLA: Learning to Consolidate and Generate Skills for Vision-Language-Action Models
- Title(参考訳): NestedVLA:ビジョン・ランゲージ・アクション・モデルのためのスキルの統合と生成を学ぶ
- Abstract要約: 本稿では,スキルを個別に学習し,その後統合したポストホックのパラダイムを提案する。
3つのRLベンチマークで、NestedVLAは平均41ppで最強のモデルマージベースラインを上回った。
- 参考スコア(独自算出の注目度): 17.13938353416822
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision--Language--Action (VLA) models promise generalist robotic agents, yet consolidating skills learned across heterogeneous tasks and environments remains difficult: training data is fragmented across platforms, joint multi-task training suffers from interference, and model merging tends to introduce parameter conflicts or require architectural changes. We instead advocate a paradigm in which skills are first learned independently and then consolidated post hoc. To this end, we propose NestedVLA, which replaces parameter aggregation with parameter generation: a nested hypernetwork, conditioned on the target task, synthesizes task-adaptive action-expert parameters that compose with a frozen base VLA. Task-specific compressed VLM residuals are retained separately. This formulation enables flexible task-conditioned skill reuse while mitigating interference. Across three RL benchmarks (MetaWorld, ManiSkill, CALVIN), NestedVLA outperforms the strongest model-merging baseline by 41 pp on average, matches per-task fine-tuning within 1 pp on ManiSkill, and substantially closes the gap on CALVIN, pointing toward a storage-efficient route to skill consolidation. Code is available at https://github.com/WanyuGroup/NeurIPS2026-NestedVLA.
- Abstract(参考訳): VLA(Vision-Language-Action)モデルは汎用的なロボットエージェントを約束するが、不均一なタスクや環境で学んだスキルの統合は難しいままである。
代わりに、スキルを独立して学び、その後統合したポストホックのパラダイムを提唱します。
この目的のために,NestedVLAを提案する。パラメータアグリゲーションをパラメータ生成に置き換えるNestedVLAは,ターゲットタスクに条件付きネストされたハイパーネットワークで,凍結ベースVLAを構成するタスク適応型アクション-エキスパートパラメータを合成する。
タスク固有の圧縮VLM残基は別々に保持される。
この定式化は、干渉を緩和しながら柔軟なタスク条件のスキル再利用を可能にする。
3つのRLベンチマーク(MetaWorld、ManiSkill、CALVIN)において、NestedVLAは、平均41ppで最強のモデルマージベースラインを上回り、ManiSkillの1pp以内でタスク毎の微調整にマッチし、CALVINのギャップを実質的に閉じ、ストレージ効率のよい技術統合への道を指し示している。
コードはhttps://github.com/WanyuGroup/NeurIPS2026-NestedVLAで公開されている。
関連論文リスト
- Hierarchical Skill Retrieval for Data-Efficient Adaptation of Vision-Language-Action Models [10.94594187411586]
Hierarchical Skill Retrieval (HSR)は、データ効率のよいVLA適応のための検索フレームワークである。
我々は、HSRが最強のベースラインに対して平均成功率を10.3%、21.3%改善することを示した。
論文 参考訳(メタデータ) (2026-08-25T04:04:49Z) - UniFed-VLM: Federated Instruction Tuning for Vision-Language Models with Multiple Heterogeneity [82.84279796262818]
視覚言語モデル(VLM)のための統一的な命令チューニングフレームワークUniFed-VLMを提案する。
1)Federated Compensated Subspace Aggregation (FedCSA) パラメータ効率のアダプタのサブスペース整合アグリゲーションを実行する。
複数のベンチマークデータセットで実験を行い、UniFed-VLMがより優れた平均性能を実現することを示す。
論文 参考訳(メタデータ) (2026-08-16T04:01:04Z) - AtomVLA: Scalable Post-Training for Robotic Manipulation via Predictive Latent World Models [9.608633915316252]
VLA(Vision-Language-Action)モデルでは、一般化可能なロボット操作の可能性を示している。
現在のパラダイムは、教師付き微調整中の粗大でハイレベルなタスク命令に依存している。
スケーラブルなオフライン後トレーニングパイプラインと統合された,最初のサブタスク対応VLAフレームワークである方法を提案する。
論文 参考訳(メタデータ) (2026-03-09T15:52:48Z) - Enhanced Continual Learning of Vision-Language Models with Model Fusion [16.764069327701186]
VLM(Vision-Language Models)は、人工知能のブレークスルーである。
VLMは、複数の下流タスクで連続的に微調整されたときに、破滅的な忘れをしがちである。
本稿では,連続的な学習にモデル融合を導入することで,新しいアプローチであるConDUを提案する。
論文 参考訳(メタデータ) (2025-03-12T15:48:13Z) - Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。
既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。
我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
論文 参考訳(メタデータ) (2025-01-02T12:45:21Z) - LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。
LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
論文 参考訳(メタデータ) (2024-10-22T16:26:05Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳(メタデータ) (2023-11-23T15:46:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。