論文の概要: Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey

• arxiv url: http://arxiv.org/abs/2508.13073v2
• Date: Mon, 01 Sep 2025 08:10:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 17:24:09.239648
• Title: Large VLM-based Vision-Language-Action Models for Robotic Manipulation: A Survey
• Title（参考訳）: ロボットマニピュレーションのための大型VLM型ビジョンランゲージ・アクションモデル:調査
• Authors: Rui Shao, Wei Li, Lingsen Zhang, Renshan Zhang, Zhiyang Liu, Ran Chen, Liqiang Nie,
• Abstract要約: 膨大な画像テキストデータセットに基づいて事前訓練されたLarge Vision-Language Models (VLM) 上に構築されたVLAモデルが、トランスフォーメーションパラダイムとして登場した。 この調査は、ロボット操作のための大規模なVLMベースのVLAモデルの、最初の体系的で分類指向のレビューを提供する。
• 参考スコア（独自算出の注目度）: 45.10095869091538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robotic manipulation, a key frontier in robotics and embodied AI, requires precise motor control and multimodal understanding, yet traditional rule-based methods fail to scale or generalize in unstructured, novel environments. In recent years, Vision-Language-Action (VLA) models, built upon Large Vision-Language Models (VLMs) pretrained on vast image-text datasets, have emerged as a transformative paradigm. This survey provides the first systematic, taxonomy-oriented review of large VLM-based VLA models for robotic manipulation. We begin by clearly defining large VLM-based VLA models and delineating two principal architectural paradigms: (1) monolithic models, encompassing single-system and dual-system designs with differing levels of integration; and (2) hierarchical models, which explicitly decouple planning from execution via interpretable intermediate representations. Building on this foundation, we present an in-depth examination of large VLM-based VLA models: (1) integration with advanced domains, including reinforcement learning, training-free optimization, learning from human videos, and world model integration; (2) synthesis of distinctive characteristics, consolidating architectural traits, operational strengths, and the datasets and benchmarks that support their development; (3) identification of promising directions, including memory mechanisms, 4D perception, efficient adaptation, multi-agent cooperation, and other emerging capabilities. This survey consolidates recent advances to resolve inconsistencies in existing taxonomies, mitigate research fragmentation, and fill a critical gap through the systematic integration of studies at the intersection of large VLMs and robotic manipulation. We provide a regularly updated project page to document ongoing progress: https://github.com/JiuTian-VL/Large-VLM-based-VLA-for-Robotic-Manipulation
• Abstract（参考訳）: ロボット工学とAIの具体化において重要なフロンティアであるロボット操作は、正確なモーター制御とマルチモーダル理解を必要とするが、従来のルールベースの手法では、非構造化された新しい環境でのスケールや一般化に失敗する。 近年、膨大な画像テキストデータセットに基づいて事前訓練されたLarge Vision-Language Models (VLM)上に構築されたVLAモデルが、トランスフォーメーションパラダイムとして登場した。 この調査は、ロボット操作のための大規模なVLMベースのVLAモデルの、最初の体系的で分類指向のレビューを提供する。 まず, 大規模VLMベースのVLAモデルを明確に定義し, モノリシックなモデル, 統合レベルが異なる単一システムと二重システムの設計を含む, および(2) 階層的なモデル, および(2) 解釈可能な中間表現による実行からプランニングを明示的に分離する。 1)強化学習、トレーニング不要の最適化、ヒューマンビデオからの学習、世界モデル統合を含む高度なドメインとの統合、(2)特徴の合成、アーキテクチャ特性の統合、運用の強み、およびそれらの開発を支援するデータセットとベンチマーク、(3)記憶機構、4D知覚、効率的な適応、マルチエージェント協調、その他の新興機能を含む有望な方向の同定。 この調査は、既存の分類学の不整合を解消し、研究の断片化を緩和し、大規模なVLMとロボット操作の交差点における研究の体系的な統合を通じて重要なギャップを埋めるための最近の進歩を集約する。 我々は、進行中の進捗を文書化するための定期的に更新されたプロジェクトページを提供する: https://github.com/JiuTian-VL/Large-VLM-based-VLA-for-Robotic-Manipulation。

関連論文リスト

• Vision Language Action Models in Robotic Manipulation: A Systematic Review [1.1767330101986737]
  ビジョン言語アクション(VLA)モデルは、ロボット工学の変革的なシフトを表す。 本稿では,VLAパラダイムの包括的で先進的な合成について述べる。 102のVLAモデル、26の基盤データセット、12のシミュレーションプラットフォームを分析します。
  論文  参考訳（メタデータ） (2025-07-14T18:00:34Z)
• Parallels Between VLA Model Post-Training and Human Motor Learning: Progress, Challenges, and Trends [11.678954304546988]
  視覚言語アクション(VLA)モデル拡張視覚言語モデル(VLM) 本稿では,人間の運動学習のレンズによるVLAモデルの訓練戦略についてレビューする。
  論文  参考訳（メタデータ） (2025-06-26T03:06:57Z)
• Unified Vision-Language-Action Model [86.68814779303429]
  我々は、視覚、言語、行動信号を離散トークンシーケンスとして自動回帰モデル化する、統一的でネイティブなマルチモーダルVLAモデルUniVLAを提案する。 提案手法は, CALVIN, LIBERO, Simplenv-Bridge など, 広く使用されているシミュレーションベンチマークにまたがって, 最新の結果を設定する。 さらに、現実世界のALOHA操作と自律運転に適用可能であることを実証する。
  論文  参考訳（メタデータ） (2025-06-24T17:59:57Z)
• RoboCerebra: A Large-scale Benchmark for Long-horizon Robotic Manipulation Evaluation [80.20970723577818]
  長距離ロボット操作における高レベル推論評価のためのベンチマークであるRoboCerebraを紹介する。 データセットはトップダウンパイプラインを通じて構築され、GPTはタスク命令を生成し、それらをサブタスクシーケンスに分解する。 以前のベンチマークと比較すると、RoboCerebraはアクションシーケンスが大幅に長く、アノテーションがより密度が高い。
  論文  参考訳（メタデータ） (2025-06-07T06:15:49Z)
• Unifying Multimodal Large Language Model Capabilities and Modalities via Model Merging [103.98582374569789]
  モデルマージは、複数のエキスパートモデルを単一のモデルにまとめることを目的としており、ストレージとサービスコストを削減している。 これまでの研究は主に、コードと数学のタスクに視覚分類モデルやLLM(Large Language Models)を統合することに焦点を当ててきた。 本稿では,VQA,Geometry,Chart,OCR,Gundingといった複数のタスクを含むMLLMのモデルマージベンチマークを紹介する。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• Vision-Language Modeling Meets Remote Sensing: Models, Datasets and Perspectives [36.297745473653166]
  視覚言語モデリング(VLM)は、画像と自然言語の間の情報ギャップを埋めることを目的としている。 大規模な画像テキストペアを事前学習し、タスク固有のデータを微調整するという新しいパラダイムの下で、リモートセンシング領域のVLMは大きな進歩を遂げた。
  論文  参考訳（メタデータ） (2025-05-20T13:47:40Z)
• ReVLA: Reverting Visual Domain Limitation of Robotic Foundation Models [55.07988373824348]
  既存の3つのロボット基礎モデルの視覚的一般化能力について検討する。 本研究は,既存のモデルがドメイン外シナリオに対する堅牢性を示していないことを示す。 モデルマージに基づく段階的なバックボーンリバーサルアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-23T17:47:59Z)
• TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic Manipulation [32.406783380729024]
  VLA(Vision-Language-Action)モデルは、エンド・ツー・エンドの学習プロセスを通じて、視覚運動制御と命令理解において顕著な可能性を示している。 現在のVLAモデルは、推論中に遅くなり、大量のロボットデータに対して広範な事前トレーニングを必要としているため、重大な課題に直面している。 既存のVLAモデルに対して2つのアドバンテージを提供する,TinyVLAと呼ばれる,コンパクトな視覚言語アクションモデルを導入した。
  論文  参考訳（メタデータ） (2024-09-19T07:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。