論文の概要: LLaRA: Supercharging Robot Learning Data for Vision-Language Policy

• arxiv url: http://arxiv.org/abs/2406.20095v3
• Date: Thu, 30 Jan 2025 17:34:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:13:27.198381
• Title: LLaRA: Supercharging Robot Learning Data for Vision-Language Policy
• Title（参考訳）: LLaRA:ビジョンランゲージ政策のためのロボット学習データのスーパーチャージ
• Authors: Xiang Li, Cristina Mata, Jongwoo Park, Kumara Kahatapitiya, Yoo Sung Jang, Jinghuan Shang, Kanchana Ranasinghe, Ryan Burgert, Mu Cai, Yong Jae Lee, Michael S. Ryoo,
• Abstract要約: 我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
• 参考スコア（独自算出の注目度）: 56.505551117094534
• License:
• Abstract: Vision Language Models (VLMs) have recently been leveraged to generate robotic actions, forming Vision-Language-Action (VLA) models. However, directly adapting a pretrained VLM for robotic control remains challenging, particularly when constrained by a limited number of robot demonstrations. In this work, we introduce LLaRA: Large Language and Robotics Assistant, a framework that formulates robot action policy as visuo-textual conversations and enables an efficient transfer of a pretrained VLM into a powerful VLA, motivated by the success of visual instruction tuning in Computer Vision. First, we present an automated pipeline to generate conversation-style instruction tuning data for robots from existing behavior cloning datasets, aligning robotic actions with image pixel coordinates. Further, we enhance this dataset in a self-supervised manner by defining six auxiliary tasks, without requiring any additional action annotations. We show that a VLM finetuned with a limited amount of such datasets can produce meaningful action decisions for robotic control. Through experiments across multiple simulated and real-world tasks, we demonstrate that LLaRA achieves state-of-the-art performance while preserving the generalization capabilities of large language models. The code, datasets, and pretrained models are available at https://github.com/LostXine/LLaRA.
• Abstract（参考訳）: ビジョン言語モデル(VLM)は、最近ロボットアクションを生成するために活用され、ビジョンランゲージ・アクション(VLA)モデルを形成している。 しかしながら、ロボット制御のために事前訓練されたVLMを直接適用することは、特に限られた数のロボットデモに制約された場合、依然として困難である。 LLaRA: Large Language and Robotics Assistantは,ロボット行動ポリシーをビジュオテクスチュアルな会話として定式化し,コンピュータビジョンにおける視覚的インストラクションチューニングの成功を動機として,事前学習されたVLMを強力なVLAへ効率的に転送することを可能にするフレームワークである。 まず、既存の行動クローニングデータセットからロボットのための対話型指導データを生成する自動パイプラインについて、画像画素座標とロボット動作の整合性を示す。 さらに、追加のアクションアノテーションを必要とせずに、6つの補助タスクを定義することで、このデータセットを自己教師型で拡張する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。 複数のシミュレートされた実世界のタスクにまたがる実験を通して、LLaRAは大規模言語モデルの一般化能力を保ちながら最先端の性能を達成することを示した。 コード、データセット、事前訓練済みのモデルはhttps://github.com/LostXine/LLaRA.comで入手できる。

関連論文リスト

• KALIE: Fine-Tuning Vision-Language Models for Open-World Manipulation without Robot Data [45.25288643161976]
  本稿では,ロボット制御をスケーラブルに行うために,KALIE(Keypoint Affordance Learning from Imagined Environments)を提案する。 モーターコマンドを直接生成する代わりに、KALIEはポイントベースの価格表現を予測してロボットを制御する。 我々はKALIEが、50個のデータポイントしか持たない未確認オブジェクトで、新しい操作タスクを堅牢に解くことができることを実証した。
  論文  参考訳（メタデータ） (2024-09-21T08:45:16Z)
• CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving [1.727597257312416]
  CoVLA(Comprehensive Vision-Language-Action)データセットは、80時間以上にわたる現実世界の運転ビデオで構成されている。 このデータセットは、堅牢で解釈可能で、データ駆動の自動運転システムのためのフレームワークを確立する。
  論文  参考訳（メタデータ） (2024-08-19T09:53:49Z)
• LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning [50.99807031490589]
  LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。 我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。 実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
  論文  参考訳（メタデータ） (2024-06-17T17:55:29Z)
• PREDILECT: Preferences Delineated with Zero-Shot Language-based Reasoning in Reinforcement Learning [2.7387720378113554]
  ロボット学習の新たな分野として,嗜好に基づく強化学習(RL)が出現している。 我々は、人間が提供するテキストから大言語モデル(LLM)のゼロショット機能を利用する。 シミュレーションシナリオとユーザスタディの両方において、フィードバックとその意味を分析することによって、作業の有効性を明らかにする。
  論文  参考訳（メタデータ） (2024-02-23T16:30:05Z)
• PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs [140.14239499047977]
  視覚言語モデル(VLM)は、論理的推論から視覚的理解に至るまで、様々なタスクにわたって印象的な能力を示している。 PIVOT(Prompting with Iterative Visual Optimization)と呼ばれる新しい視覚的プロンプト手法を提案する。 私たちのアプローチは、ロボットのトレーニングデータやさまざまな環境でのナビゲーション、その他の能力なしに、ロボットシステムのゼロショット制御を可能にします。
  論文  参考訳（メタデータ） (2024-02-12T18:33:47Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models [70.82705830137708]
  言語条件制御のためのデータ駆動型インストラクション拡張(DIAL)について紹介する。 我々は,CLIPのセマンティック理解を利用したセミ言語ラベルを用いて,未知の実演データの大規模なデータセットに知識を伝達する。 DIALは、模倣学習ポリシーによって、新しい能力を獲得し、元のデータセットにない60の新しい命令を一般化することができる。
  論文  参考訳（メタデータ） (2022-11-21T18:56:00Z)
• Modular Framework for Visuomotor Language Grounding [57.93906820466519]
  自然言語の指導は、接地された言語とロボット工学の研究にとって貴重なテストベッドとして機能する。 本稿では,言語,行動,視覚的タスクを個別に学習可能なモジュールに構造化することを提案する。
  論文  参考訳（メタデータ） (2021-09-05T20:11:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。