論文の概要: Towards Zero-Shot Transfer Across Embodiments For Driving VLAs
- arxiv url: http://arxiv.org/abs/2609.02341v1
- Date: Wed, 02 Sep 2026 09:17:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.212905
- Title: Towards Zero-Shot Transfer Across Embodiments For Driving VLAs
- Title（参考訳）: 自動車用VLAのゼロショットトランスファーに向けて
- Abstract要約: ロボット操作において、VLAファインチューニングのスケーリングは、データベース内性能とクロスエボディメントの一般化を改善することが示されている。
しかしながら、自律運転では、VLAは個々のデータセットで主にトレーニングされており、目に見えないデータセットやカメラリグへのゼロショット転送に対して評価されることはめったにない。
少数のカメラリグのトレーニングにおいて,BEV-Forcingのような補助的タスクは,分配性能と分配性能の両方を向上できることを示す。
- 参考スコア（独自算出の注目度）: 4.331354753582517
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action models (VLAs) have shown strong potential in autonomous driving by leveraging multimodal pretraining for instruction following, visual reasoning, and scene-level generalization. In robotic manipulation, scaling VLA fine-tuning across multiple robot setups--especially when unifying representations across embodiments--has been shown to improve in-dataset performance and cross-embodiment generalization; in autonomous driving, however, VLAs remain largely trained on individual datasets and are rarely evaluated for zero-shot transfer to unseen datasets and camera rigs; furthermore naively adding more datasets to the training data does not necessarily lead to better performance within seen embodiments. To address these problems, we study multi-dataset training for the driving task and BEV-Forcing, an auxiliary objective that transfers ground-plane object-layout information from a specialized Bird's-Eye-View model into the VLA backbone. By encouraging the model to represent object position through a shared BEV spatial interface, we show that an auxiliary task such as BEV-Forcing can improve both in-distribution and out-of-distribution performance when training on a small number of camera rigs. As the number of training embodiments increases, however, the benefits of the auxiliary task are reduced; we present this as evidence that new techniques in the literature may see their benefits diminish when simply scaling up training diversity, which motivates presenting results taking into account data scaling.
- Abstract（参考訳）: VLA(Vision-Language-Action Model)は、マルチモーダル事前学習を活用して、指示の追従、視覚的推論、シーンレベルの一般化を実現している。
ロボット操作では、VLAの微調整が複数のロボットのセットアップにまたがる - 特に、エンボディメントをまたいだ表現を統一すると、インデータセットのパフォーマンスとクロスエボディメントの一般化が向上することが示されているが、自律運転では、VLAは個々のデータセットで主に訓練され、目に見えないデータセットやカメラリグへのゼロショット転送に対してほとんど評価されない。
これらの課題に対処するために, 専用Bird's-Eye-ViewモデルからVLAバックボーンに地平面オブジェクトレイアウト情報を転送する補助目的である運転タスクとBEV-Forcingのマルチデータセットトレーニングについて検討した。
共有されたBEV空間インタフェースを通して物体の位置を表すことを奨励することにより、少数のカメラリグのトレーニングにおいて、BEVフォースのような補助的なタスクは、分布内と分布外の両方を改善することができることを示す。
しかし, トレーニング実施の数が増加するにつれて, 補助課題の利点は減少し, 文献における新たな手法が, 単にトレーニングの多様性を拡大する際にそのメリットを低下させる可能性があることを示す証拠として, データのスケーリングを考慮した結果の提示を動機としている。
関連論文リスト
- DriveVLA-W0: World Models Amplify Data Scaling Law in Autonomous Driving [52.63591791507895]
将来の画像の予測に世界モデリングを利用するトレーニングパラダイムである textbfDriveVLA-W0 を提案する。
このタスクは、運転環境の基礎となる力学を学ぶためにモデルを補完する密集した自己教師信号を生成する。
NAVSIM v1/v2ベンチマークと680倍の社内データセットの実験は、DriveVLA-W0がBEVとVLAのベースラインを大きく上回っていることを示している。
論文 参考訳（メタデータ） (2025-10-14T17:59:47Z) - Align-Then-stEer: Adapting the Vision-Language Action Models through Unified Latent Guidance [63.33213516925946]
textbfAlign-Then-stEer(textttATE)は,新しいデータ効率,プラグアンドプレイ適応フレームワークである。
我々の研究は、新しいロボットプラットフォームやタスクにVLAモデルをデプロイする実用性を大幅に向上させる、汎用的で軽量なソリューションを提供する。
論文 参考訳（メタデータ） (2025-09-02T07:51:59Z) - Scenario Understanding of Traffic Scenes Through Large Visual Language Models [2.3302708486956454]
大規模ビジュアル言語モデル(LVLM)は、画像解析とコンテキストクエリによる分類を自動化することで、魅力的なソリューションを提供する。
本研究では,LVLMが社内データセットとBDD100Kの両方で都市交通シーンを理解し,分類する能力を評価する。
我々は、最先端モデルを統合するスケーラブルなキャプションパイプラインを提案し、新しいデータセットに柔軟なデプロイを可能にする。
論文 参考訳（メタデータ） (2025-01-28T18:23:12Z) - Vision Language Models are In-Context Value Learners [89.29486557646624]
本稿では、視覚言語モデル(VLM)に埋め込まれた世界的知識を活用してタスクの進捗を予測する普遍的価値関数推定器である生成価値学習(GVL)を提案する。
ロボットやタスク固有のトレーニングがなければ、GVLは300以上の異なる現実世界のタスクに対して、ゼロショットと数ショットの効果的な値をインコンテキストで予測することができる。
論文 参考訳（メタデータ） (2024-11-07T09:17:50Z) - VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。
VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。
ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
論文 参考訳（メタデータ） (2024-01-15T17:28:37Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-16T21:51:04Z) - Instance-Conditioned GAN Data Augmentation for Representation Learning [29.36473147430433]
DA_IC-GANは、学習可能なデータ拡張モジュールで、ほとんどの最先端のトレーニングレシピと組み合わせて、棚外で使用することができる。
DA_IC-GAN は最大容量モデルで 1%p から 2%p の精度を向上できることを示す。
また,DA_IC-GANを自己指導型トレーニングレシピと組み合わせることで,いくつかの設定で1%pの精度向上が達成できることを示す。
論文 参考訳（メタデータ） (2023-03-16T22:45:43Z) - Effective Adaptation in Multi-Task Co-Training for Unified Autonomous
Driving [103.745551954983]
本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。
彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。
汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-19T12:15:31Z) - Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。
共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。
さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文 参考訳（メタデータ） (2022-07-08T10:25:47Z) - Deflating Dataset Bias Using Synthetic Data Augmentation [8.509201763744246]
自律走行車(AV)の視覚タスクの最先端の手法は、教師あり学習に依存している。
本研究の目的は,視覚タスクにおける実際のデータセットのギャップを埋めるために,ターゲットとなる合成データ拡張の利用を検討することである。
AVに実用的な3つの異なるコンピュータビジョンタスクに関する実証研究は、トレーニングミックスに合成データを持つことは、クロスデータセットの一般化性能を著しく向上させることを一貫して示している。
論文 参考訳（メタデータ） (2020-04-28T21:56:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。