論文の概要: A Survey on Vision-Language-Action Models for Embodied AI

• arxiv url: http://arxiv.org/abs/2405.14093v1
• Date: Thu, 23 May 2024 01:43:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 19:24:51.741733
• Title: A Survey on Vision-Language-Action Models for Embodied AI
• Title（参考訳）: 身体的AIにおける視覚・言語・行動モデルの検討
• Authors: Yueen Ma, Zixing Song, Yuzheng Zhuang, Jianye Hao, Irwin King,
• Abstract要約: 視覚言語アクションモデル(VLA)はロボット学習の基盤となっている。 汎用性、デキスタリティ、一般化可能性など、様々な手法が提案されている。 VLAは、長い水平タスクを実行可能なサブタスクに分解できるハイレベルなタスクプランナとして機能する。
• 参考スコア（独自算出の注目度）: 71.16123093739932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has demonstrated remarkable success across many domains, including computer vision, natural language processing, and reinforcement learning. Representative artificial neural networks in these fields span convolutional neural networks, Transformers, and deep Q-networks. Built upon unimodal neural networks, numerous multi-modal models have been introduced to address a range of tasks such as visual question answering, image captioning, and speech recognition. The rise of instruction-following robotic policies in embodied AI has spurred the development of a novel category of multi-modal models known as vision-language-action models (VLAs). Their multi-modality capability has become a foundational element in robot learning. Various methods have been proposed to enhance traits such as versatility, dexterity, and generalizability. Some models focus on refining specific components through pretraining. Others aim to develop control policies adept at predicting low-level actions. Certain VLAs serve as high-level task planners capable of decomposing long-horizon tasks into executable subtasks. Over the past few years, a myriad of VLAs have emerged, reflecting the rapid advancement of embodied AI. Therefore, it is imperative to capture the evolving landscape through a comprehensive survey.
• Abstract（参考訳）: ディープラーニングは、コンピュータビジョン、自然言語処理、強化学習など、多くの領域で顕著な成功を収めている。 これらの分野の代表的な人工ニューラルネットワークは、畳み込みニューラルネットワーク、トランスフォーマー、深層Q-networksにまたがる。 ユニモーダルニューラルネットワークを基盤として、視覚的質問応答、画像キャプション、音声認識などのタスクに対処するために、多数のマルチモーダルモデルが導入されている。 インボディードAIにおける指示追従ロボットポリシーの台頭は、視覚言語アクションモデル(VLA)として知られる新しいマルチモーダルモデルのカテゴリの開発を加速させた。 マルチモダリティ能力は、ロボット学習の基本的な要素となっている。 汎用性、デキスタリティ、一般化可能性など、様々な手法が提案されている。 いくつかのモデルは、事前トレーニングを通じて特定のコンポーネントを精錬することに焦点を当てている。 また、低レベルの行動を予測するための制御ポリシーの開発も目指している。 ある種のVLAは、長い水平タスクを実行可能なサブタスクに分解できるハイレベルなタスクプランナとして機能する。 過去数年間、無数のVLAが出現し、エンボディドAIの急速な進歩を反映している。 そのため、総合的な調査を通じて、発展途上の景観を捉えることが不可欠である。

関連論文リスト

• An Interactive Agent Foundation Model [49.77861810045509]
  本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。 トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2024-02-08T18:58:02Z)
• Delving into Multi-modal Multi-task Foundation Models for Road Scene Understanding: From Learning Paradigm Perspectives [56.2139730920855]
  本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。 本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。 我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:47:09Z)
• A Survey on Robotics with Foundation Models: toward Embodied AI [30.999414445286757]
  近年のコンピュータビジョン,自然言語処理,マルチモーダリティ学習の進歩は,基礎モデルが特定のタスクに対して超人的能力を持つことを示している。 この調査は、ロボット工学の基礎モデルの包括的で最新の概要を提供し、自律的な操作に焦点を当て、高レベルの計画と低レベルの制御を包含することを目的としている。
  論文  参考訳（メタデータ） (2024-02-04T07:55:01Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
  本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。 我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
  論文  参考訳（メタデータ） (2023-03-06T18:58:06Z)
• What Matters in Language Conditioned Robotic Imitation Learning [26.92329260907805]
  オフラインのフリーフォーム模倣データセットから言語条件付きポリシーを学習する際の最も重要な課題について検討する。 本稿では,CALVINベンチマークを用いて,言語条件の難易度を向上する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T08:45:32Z)
• WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
  我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。 そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T12:25:21Z)
• A Review on Explainability in Multimodal Deep Neural Nets [2.3204178451683264]
  マルチモーダルAI技術は、いくつかのアプリケーションドメインで大きな成功を収めている。 その優れた性能にもかかわらず、深層ニューラルネットワークの複雑で不透明でブラックボックスな性質は、社会的受容と使用性を制限する。 本稿では,マルチモーダル深層ニューラルネットワークにおける説明可能性に関する包括的調査と解説を行うため,本論文を概説する。
  論文  参考訳（メタデータ） (2021-05-17T14:17:49Z)
• Neurosymbolic AI for Situated Language Understanding [13.249453757295083]
  我々は,これらの学習課題に対する解法として,計算位置定位法が有効であると主張している。 我々のモデルは、古典的なAIの考えをニューロシンボリックインテリジェンス(英語版)の枠組みに再組み入れている。 我々は、さまざまなAI学習課題に対して、位置情報が多様なデータと複数のレベルのモデリングを提供する方法について論じる。
  論文  参考訳（メタデータ） (2020-12-05T05:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。