論文の概要: Vision-Language-Action Models: A Life-Cycle Survey of Design, Training and Deployment
- arxiv url: http://arxiv.org/abs/2611.18372v1
- Date: Fri, 13 Nov 2026 16:17:00 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:21:24.125745
- Title: Vision-Language-Action Models: A Life-Cycle Survey of Design, Training and Deployment
- Title(参考訳): ビジョン・ランゲージ・アクション・モデル:デザイン・トレーニング・展開に関するライフサイクル・サーベイ
- Abstract要約: 視覚言語アクション(VLA)モデルは、ロボットの動作を出力するために、Webで制約された視覚言語モデルを適用する。
この調査は2022年12月から2026年10月までの88の著作をレビューし、主に操作とナビゲーション、ヒューマノイド制御、世界行動モデル、評価について紹介した。
- 参考スコア(独自算出の注目度): 0.8164433158925593
- License:
- Abstract: Vision-language-action (VLA) models adapt web-pretrained vision-language models to output robot actions, so that web knowledge carries over to physical control. In under 4 years the field has moved from RT-2, the first VLA, to open models that fine-tune on a single consumer GPU and to proprietary generalists that clean unseen homes. This survey reviews 88 works from December 2022 to October 2026, mainly on manipulation and navigation, plus humanoid control, world-action models and evaluation. We follow a VLA through its life cycle, from model design to training and deployment, along seven axes. Model design covers (a) inputs and memory, what the model observes; (b) architecture, how its pipeline is built; (c) action output, how it produces motor commands; and (d) intermediate predictions, what else it predicts, from reasoning steps to future observations. Training covers (e) pretraining data, the mix of robot, web, human and simulated data, and (f) post-training, adaptation to the target robot. Deployment covers (g) real-time execution, keeping pace with the robot. We analyse 22 models on these axes and report their training data, model size, inference speed and hardware. Three trends emerge: (i) training data has broadened, from about 10,000 hours of teleoperated robot data ($π_0$) to 23,000 community-collected episodes (SmolVLA) and 20,000 hours of egocentric human video (GR00T N1.7); (ii) model sizes have split: most recent models have 3-7 billion parameters, while a new group under one billion runs on consumer GPUs; and (iii) generalist VLAs are emerging that handle both manipulation and navigation, such as UniVLA and Qwen-VLA. We also compare VLAs with world-action models, which predict future observations as well as actions. We review evidence that some VLAs with near-perfect benchmark scores fail when objects or the camera move slightly, and open up further research questions.
- Abstract(参考訳): VLA(Vision- Language-action)モデルは、Webで制約された視覚言語モデルに適応して、ロボットの動作を出力する。
4年も経たないうちに、フィールドは最初のVLAであるRT-2から、単一の消費者向けGPUで微調整するモデル、そして目に見えない家をきれいにするプロプライエタリなジェネラリストへと移行した。
この調査は2022年12月から2026年10月までの88の著作をレビューし、主に操作とナビゲーション、ヒューマノイド制御、世界行動モデル、評価について紹介した。
モデル設計からトレーニング、デプロイメントに至るまで、7つの軸に沿って、ライフサイクルを通じてVLAに従います。
モデルデザインカバー
(a)入力とメモリ、モデルが観察するもの
b) アーキテクチャ、パイプラインの作り方
(c)動作出力、モータコマンドの生成方法、及び
(d) 中間予測、その他の予測は、推論段階から将来の観測まで。
トレーニングカバー
(e)事前学習データ、ロボット、ウェブ、人間とシミュレーションデータの混合
(f)訓練後、対象ロボットへの適応。
配置カバー
(g) ロボットとのペースを保ちながら、リアルタイム実行を行う。
我々は、これらの軸上の22のモデルを分析し、トレーニングデータ、モデルサイズ、推論速度、ハードウェアを報告する。
3つの傾向が現れる。
(i)遠隔操作型ロボットデータ(π_0$)の約1万時間から、コミュニティ収集型エピソード(SmolVLA)の2万時間、人間中心型ビデオ(GR00T N1.7)の2万時間まで、トレーニングデータが拡大した。
(ii)モデルサイズは分割されている:最近のモデルでは370億のパラメータを持ち、新しいグループは10億以下のコンシューマGPUで動作している。
(III)UniVLAやQwen-VLAのような操作とナビゲーションの両方を扱う一般VLAが登場している。
また、VLAと世界行動モデルを比較し、将来の観測と行動を予測する。
ほぼ完璧なベンチマークスコアを持つ一部のVLAが、オブジェクトやカメラがわずかに動くと失敗する証拠をレビューし、さらなる研究課題を提起する。
関連論文リスト
- PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations [26.712661897453273]
物理ダイナミクスモジュールは、視覚言語の特徴から物理トークンを抽出し、オンラインビデオ生成なしで条件アクション生成する。
このモジュールは、将来のRGB、深度、光フロー機能の直接予測を通じて学習し、凍結したビデオワールドモデルを通じて補助的な監視を行う。
4つのシミュレーションベンチマークで、PDRVLAはLIBEROで99.3%、LIBERO-Plusで89.9%、RoboTwin2.0で93.6%、SimplerEnvで81.5%の成功率を達成した。
論文 参考訳(メタデータ) (2026-10-27T15:09:10Z) - InternW0-$Δ$: A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data [84.09989566646709]
World Action Models (WAM) は、汎用ロボット操作のための視覚力学とアクション生成を共同でモデル化する。
異種コーパス上で事前訓練した統一WAMであるInternW0-$を紹介した。
トレーニングコード、モデルウェイト、インフラストラクチャ、データ処理パイプライン、およびライセンスが許可するデータ処理をオープンソースにします。
論文 参考訳(メタデータ) (2026-09-25T15:24:25Z) - From Foundation to Application: Improving VLA Models in Practice [62.1552185059214]
3つの機能ドメインの改善を通じてLingBot-VLAを進化させるLingBot-VLA 2.0を提案する。
以前のバージョンと比較して、データ処理パイプラインを改訂し、事前トレーニングのために約6万時間のデータをキュレートします。
特に,本システムでは,頭部,腰,移動台,器用な手の自由度を考慮し,ロボットがより複雑なタスクを現実的なシナリオでこなせるようにしている。
論文 参考訳(メタデータ) (2026-07-07T15:33:12Z) - A Pragmatic VLA Foundation Model [66.76609538850478]
我々はLingBot-VLAを開発し、9つの人気のデュアルアームロボット構成から約2万時間のリアルタイムデータを収集した。
我々のモデルは競争相手よりも明らかな優位性を実現し、その強靭な性能と広範な一般化性を示している。
ロボット学習の分野を前進させるために、コード、ベースモデル、ベンチマークデータへのオープンアクセスを提供する。
論文 参考訳(メタデータ) (2026-01-26T17:08:04Z) - InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation [77.07565723756119]
InternVLA-A1は動的予測機能を備えた視覚言語モデルである。
我々は、実世界のロボットデータ、合成シミュレーションデータ、人間のビデオなどを用いて、これらのモデルを異種データソース上で事前訓練する。
InternVLA-A1を実世界の12のロボットタスクとシミュレーションベンチマークで評価した。
論文 参考訳(メタデータ) (2026-01-05T18:54:29Z) - Latent Action Pretraining from Videos [156.88613023078778]
一般行動モデル(LAPA)のための潜在行動事前訓練について紹介する。
LAPA(英: LAPA)は、VLA(Vision-Language-Action)モデルに接地型ロボットアクションラベルを含まない教師なしの訓練方法である。
本稿では,ロボットアクションラベルを持たないインターネット規模のビデオから学習する手法を提案する。
論文 参考訳(メタデータ) (2024-10-15T16:28:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。