論文の概要: A Survey on Vision-Language-Action Models for Embodied AI

• arxiv url: http://arxiv.org/abs/2405.14093v3
• Date: Mon, 03 Mar 2025 03:19:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:11:22.959411
• Title: A Survey on Vision-Language-Action Models for Embodied AI
• Title（参考訳）: 身体的AIにおける視覚・言語・行動モデルの検討
• Authors: Yueen Ma, Zixing Song, Yuzheng Zhuang, Jianye Hao, Irwin King,
• Abstract要約: エンボディードAIは、人工知能の重要な要素として広く認識されている。 組込みAIにおける言語条件ロボットタスクに対処するために、マルチモーダルモデルの新たなカテゴリが登場した。 具体的AIのための視覚-言語-アクションモデルに関する第1回調査を示す。
• 参考スコア（独自算出の注目度）: 71.16123093739932
• License:
• Abstract: Embodied AI is widely recognized as a key element of artificial general intelligence because it involves controlling embodied agents to perform tasks in the physical world. Building on the success of large language models and vision-language models, a new category of multimodal models -- referred to as vision-language-action models (VLAs) -- has emerged to address language-conditioned robotic tasks in embodied AI by leveraging their distinct ability to generate actions. In recent years, a myriad of VLAs have been developed, making it imperative to capture the rapidly evolving landscape through a comprehensive survey. To this end, we present the first survey on VLAs for embodied AI. This work provides a detailed taxonomy of VLAs, organized into three major lines of research. The first line focuses on individual components of VLAs. The second line is dedicated to developing control policies adept at predicting low-level actions. The third line comprises high-level task planners capable of decomposing long-horizon tasks into a sequence of subtasks, thereby guiding VLAs to follow more general user instructions. Furthermore, we provide an extensive summary of relevant resources, including datasets, simulators, and benchmarks. Finally, we discuss the challenges faced by VLAs and outline promising future directions in embodied AI.
• Abstract（参考訳）: エンボディードAIは、物理的な世界でタスクを実行するために、エンボディードエージェントを制御することを含むため、人工知能の重要な要素として広く認識されている。 大規模言語モデルと視覚言語モデルの成功に基づいて、視覚言語アクションモデル(VLA)と呼ばれる新しいマルチモーダルモデルのカテゴリが登場した。 近年、無数のVLAが開発され、総合的な調査を通じて急速に進化する風景を捉えることが不可欠である。 この目的のために、我々は、組込みAIのためのVLAに関する最初の調査を提示する。 この研究は、VLAの詳細な分類を3つの主要な研究系統に分類する。 第1行はVLAの個々のコンポーネントに焦点を当てている。 第2のラインは、低レベルのアクションを予測できるコントロールポリシーの開発に重点を置いている。 第3の行は、長い水平タスクを一連のサブタスクに分解できるハイレベルなタスクプランナで構成され、それによってVLAがより一般的なユーザ指示に従うように誘導する。 さらに、データセット、シミュレータ、ベンチマークなど、関連するリソースの広範なサマリを提供する。 最後に、VLAが直面する課題について議論し、具体的AIにおける将来的な方向性について概説する。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• VL-GLUE: A Suite of Fundamental yet Challenging Visuo-Linguistic Reasoning Tasks [48.67062958311173]
  VL-GLUEは、自然言語理解のためのマルチタスクベンチマークである。 既存の大規模視覚言語モデルでは,このベンチマークは非常に難しい。
  論文  参考訳（メタデータ） (2024-10-17T15:27:17Z)
• An Interactive Agent Foundation Model [49.77861810045509]
  本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。 トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2024-02-08T18:58:02Z)
• A Survey on Robotics with Foundation Models: toward Embodied AI [30.999414445286757]
  近年のコンピュータビジョン,自然言語処理,マルチモーダリティ学習の進歩は,基礎モデルが特定のタスクに対して超人的能力を持つことを示している。 この調査は、ロボット工学の基礎モデルの包括的で最新の概要を提供し、自律的な操作に焦点を当て、高レベルの計画と低レベルの制御を包含することを目的としている。
  論文  参考訳（メタデータ） (2024-02-04T07:55:01Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
  本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。 我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
  論文  参考訳（メタデータ） (2023-03-06T18:58:06Z)
• What Matters in Language Conditioned Robotic Imitation Learning [26.92329260907805]
  オフラインのフリーフォーム模倣データセットから言語条件付きポリシーを学習する際の最も重要な課題について検討する。 本稿では,CALVINベンチマークを用いて,言語条件の難易度を向上する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T08:45:32Z)
• WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
  我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。 そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T12:25:21Z)
• A Review on Explainability in Multimodal Deep Neural Nets [2.3204178451683264]
  マルチモーダルAI技術は、いくつかのアプリケーションドメインで大きな成功を収めている。 その優れた性能にもかかわらず、深層ニューラルネットワークの複雑で不透明でブラックボックスな性質は、社会的受容と使用性を制限する。 本稿では,マルチモーダル深層ニューラルネットワークにおける説明可能性に関する包括的調査と解説を行うため,本論文を概説する。
  論文  参考訳（メタデータ） (2021-05-17T14:17:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。