論文の概要: LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning

• arxiv url: http://arxiv.org/abs/2406.11815v1
• Date: Mon, 17 Jun 2024 17:55:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 12:54:18.283581
• Title: LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning
• Title（参考訳）: LLARVA:ロボットの学習を支援する視覚アクション学習
• Authors: Dantong Niu, Yuvan Sharma, Giscard Biamby, Jerome Quenum, Yutong Bai, Baifeng Shi, Trevor Darrell, Roei Herzig,
• Abstract要約: LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。 我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。 実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
• 参考スコア（独自算出の注目度）: 50.99807031490589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, instruction-tuned Large Multimodal Models (LMMs) have been successful at several tasks, including image captioning and visual question answering; yet leveraging these models remains an open question for robotics. Prior LMMs for robotics applications have been extensively trained on language and action data, but their ability to generalize in different settings has often been less than desired. To address this, we introduce LLARVA, a model trained with a novel instruction tuning method that leverages structured prompts to unify a range of robotic learning tasks, scenarios, and environments. Additionally, we show that predicting intermediate 2-D representations, which we refer to as "visual traces", can help further align vision and action spaces for robot learning. We generate 8.5M image-visual trace pairs from the Open X-Embodiment dataset in order to pre-train our model, and we evaluate on 12 different tasks in the RLBench simulator as well as a physical Franka Emika Panda 7-DoF robot. Our experiments yield strong performance, demonstrating that LLARVA - using 2-D and language representations - performs well compared to several contemporary baselines, and can generalize across various robot environments and configurations.
• Abstract（参考訳）: 近年、画像キャプションや視覚的質問応答など、命令調整型LMM(Large Multimodal Models)がいくつかのタスクで成功している。 ロボットのための以前のLMMは、言語や行動データに基づいて広範囲に訓練されてきたが、異なる設定で一般化する能力は、しばしば望ましくなかった。 LLARVAは、構造化プロンプトを利用して、ロボット学習タスク、シナリオ、環境を統一する新しいインストラクションチューニング手法で訓練されたモデルである。 さらに,視覚的トレース(visual traces)と呼ぶ中間的2次元表現の予測が,ロボット学習における視覚と行動空間のさらなる整合化に役立つことを示す。 我々は,RLBenchシミュレータとFranka Emika Panda 7-DoFロボットの12種類のタスクを事前学習するために,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成する。 本実験は,2次元および言語表現を用いたLLARVAが,現代ロボットの環境や構成にまたがる汎用化を実現していることを示す。

関連論文リスト

• VLM See, Robot Do: Human Demo Video to Robot Action Plan via Vision Language Model [4.557035895252272]
  視覚言語モデル(VLM)は、常識推論と一般化可能性において、ロボット工学に採用されている。 本研究では,VLMを用いて人間のデモ映像を解釈し,ロボットによるタスク計画を生成する。 これは、VLMが人間によるデモンストレーションを「見る」ことができ、それに対応する計画をロボットに「見る」ように説明できるためである。
  論文  参考訳（メタデータ） (2024-10-11T13:17:52Z)
• KALIE: Fine-Tuning Vision-Language Models for Open-World Manipulation without Robot Data [45.25288643161976]
  本稿では,ロボット制御をスケーラブルに行うために,KALIE(Keypoint Affordance Learning from Imagined Environments)を提案する。 モーターコマンドを直接生成する代わりに、KALIEはポイントベースの価格表現を予測してロボットを制御する。 我々はKALIEが、50個のデータポイントしか持たない未確認オブジェクトで、新しい操作タスクを堅牢に解くことができることを実証した。
  論文  参考訳（メタデータ） (2024-09-21T08:45:16Z)
• Bridging Language, Vision and Action: Multimodal VAEs in Robotic Manipulation Tasks [0.0]
  本研究では,ロボット操作分野における教師なし視覚-言語-アクションマッピングに着目した。 本研究では,シミュレータにおけるモデルの性能を最大55%向上させるモデル不変学習法を提案する。 我々の研究は、ロボット運動軌跡の教師なし学習に現在のマルチモーダルVAEを使用することの潜在的な利点と限界にも光を当てている。
  論文  参考訳（メタデータ） (2024-04-02T13:25:16Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control [140.48218261864153]
  本研究では,インターネット規模のデータに基づいて学習した視覚言語モデルを,エンドツーエンドのロボット制御に直接組み込む方法について検討する。 提案手法は,インターネット規模のトレーニングから,RT-2による創発的能力の獲得を可能にした。
  論文  参考訳（メタデータ） (2023-07-28T21:18:02Z)
• VIMA: General Robot Manipulation with Multimodal Prompts [82.01214865117637]
  ロボット操作タスクの幅広い範囲をマルチモーダルプロンプトで表現できることを示す。 我々は,数千の手続き的に生成されたテーブルトップタスクからなる新しいシミュレーションベンチマークを開発した。 我々は、これらのプロンプトを処理し、自動回帰的に運動動作を出力するトランスフォーマーベースのロボットエージェントVIMAを設計する。
  論文  参考訳（メタデータ） (2022-10-06T17:50:11Z)
• Masked World Models for Visual Control [90.13638482124567]
  視覚表現学習と動的学習を分離する視覚モデルに基づくRLフレームワークを提案する。 提案手法は,様々な視覚ロボット作業における最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-06-28T18:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。