論文の概要: Solving Robotics Problems in Zero-Shot with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2407.19094v1
• Date: Fri, 26 Jul 2024 21:18:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-30 19:52:44.996494
• Title: Solving Robotics Problems in Zero-Shot with Vision-Language Models
• Title（参考訳）: ビジョンランゲージモデルを用いたゼロショットにおけるロボティクス問題の解法
• Authors: Zidan Wang, Rui Shen, Bradly Stadie,
• Abstract要約: Wonderful Teamは、ゼロショット方式でロボットの問題を解決するためのフレームワークだ。 エージェント階層間でタスクを分割するマルチエージェントビジュアルLLMの進歩の上に構築されている。 VIMABenchと現実世界のロボット環境の実験は、様々なロボットタスクを扱うシステムの能力を実証している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Wonderful Team, a multi-agent visual LLM (VLLM) framework for solving robotics problems in the zero-shot regime. By zero-shot we mean that, for a novel environment, we feed a VLLM an image of the robot's environment and a description of the task, and have the VLLM output the sequence of actions necessary for the robot to complete the task. Prior work on VLLMs in robotics has largely focused on settings where some part of the pipeline is fine-tuned, such as tuning an LLM on robot data or training a separate vision encoder for perception and action generation. Surprisingly, due to recent advances in the capabilities of VLLMs, this type of fine-tuning may no longer be necessary for many tasks. In this work, we show that with careful engineering, we can prompt a single off-the-shelf VLLM to handle all aspects of a robotics task, from high-level planning to low-level location-extraction and action-execution. Wonderful Team builds on recent advances in multi-agent LLMs to partition tasks across an agent hierarchy, making it self-corrective and able to effectively partition and solve even long-horizon tasks. Extensive experiments on VIMABench and real-world robotic environments demonstrate the system's capability to handle a variety of robotic tasks, including manipulation, visual goal-reaching, and visual reasoning, all in a zero-shot manner. These results underscore a key point: vision-language models have progressed rapidly in the past year, and should strongly be considered as a backbone for robotics problems going forward.
• Abstract（参考訳）: ゼロショットシステムにおけるロボットの問題を解決するための多エージェントビジュアルLLM(VLLM)フレームワークであるWonderful Teamを紹介した。 ゼロショットでは、新しい環境において、ロボットの環境の画像とタスクの説明をVLLMに供給し、ロボットがタスクを完了するために必要なアクションのシーケンスをVLLMに出力する。 ロボット工学におけるVLLMの研究は、ロボットデータにLLMをチューニングしたり、知覚と行動生成のために別々の視覚エンコーダをトレーニングするなど、パイプラインの一部が微調整された設定に重点を置いていた。 驚くべきことに、最近のVLLMの能力の進歩により、このような微調整はもはや多くのタスクには必要ないかもしれない。 本研究は,ロボット作業のすべての側面を,高レベルな計画から低レベルな位置抽出,行動実行まで,単一のオフザシェルフVLLMで処理することができることを示す。 Wonderful Teamは、エージェント階層間でタスクを分割するマルチエージェントLDMの最近の進歩の上に構築されている。 VIMABenchと現実世界のロボット環境に関する大規模な実験は、操作、視覚的目標獲得、視覚的推論など、さまざまなロボットタスクをゼロショットで処理するシステムの能力を実証している。 これらの結果は、この1年でビジョン言語モデルは急速に進歩し、今後ロボット工学の問題のバックボーンとして強く考えるべきである、という重要なポイントを浮き彫りにしている。

関連論文リスト

• LLM+MAP: Bimanual Robot Task Planning using Large Language Models and Planning Domain Definition Language [17.914580097058106]
  両手間の空間的・時間的調整が複雑になるため、両手操作は固有の課題となる。 既存の作業は主に、ロボットハンドのための人間レベルの操作スキルの獲得に重点を置いているが、長い時間軸でのタスクプランニングにはほとんど関心が払われていない。 本稿では,LLM推論とマルチエージェント計画を統合した双方向計画フレームワークであるLLM+MAPを紹介する。
  論文  参考訳（メタデータ） (2025-03-21T17:04:01Z)
• Zero-shot Robotic Manipulation with Language-guided Instruction and Formal Task Planning [16.89900521727246]
  本稿では,言語誘導型シンボリックタスク計画(LM-SymOpt)フレームワークの最適化を提案する。 大規模言語モデルからの世界的知識と公式な推論を組み合わせた最初のエキスパートフリーな計画フレームワークです。 実験の結果,LM-SymOpt は既存の LLM ベースの計画手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-01-25T13:33:22Z)
• MALMM: Multi-Agent Large Language Models for Zero-Shot Robotics Manipulation [52.739500459903724]
  大規模言語モデル(LLM)は、ロボティクスの操作やナビゲーションなど、さまざまな領域にまたがる優れた計画能力を示している。 特殊なLLMエージェント間で高レベル計画および低レベル制御コード生成を分散する新しいマルチエージェントLLMフレームワークを提案する。 長軸タスクを含む9つのRLBenchタスクに対するアプローチを評価し、ゼロショット環境でロボット操作を解く能力を実証した。
  論文  参考訳（メタデータ） (2024-11-26T17:53:44Z)
• AgentGen: Enhancing Planning Abilities for Large Language Model based Agent via Environment and Task Generation [81.32722475387364]
  大規模言語モデルに基づくエージェントが注目され、ますます人気が高まっている。 計画能力は LLM ベースのエージェントの重要な構成要素であり、通常は初期状態から望ましい目標を達成する必要がある。 近年の研究では、専門家レベルの軌跡を指導訓練用LLMに活用することで、効果的に計画能力を向上させることが示されている。
  論文  参考訳（メタデータ） (2024-08-01T17:59:46Z)
• Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models [81.55156507635286]
  脚のついたロボットは、様々な環境をナビゲートし、幅広い障害を克服することができる。 現在の学習手法は、人間の監督を伴わずに、予期せぬ状況の長い尾への一般化に苦慮することが多い。 本稿では,VLM-Predictive Control (VLM-PC) というシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-02T21:00:30Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning [50.99807031490589]
  LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。 我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。 実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
  論文  参考訳（メタデータ） (2024-06-17T17:55:29Z)
• Empowering Large Language Models on Robotic Manipulation with Affordance Prompting [23.318449345424725]
  大規模な言語モデルは、制御シーケンスを適切に生成することで物理世界と相互作用することができない。 既存のLLMベースのアプローチでは、事前定義されたスキルや事前訓練されたサブ政治に頼ることでこの問題を回避することができる。 サブタスクプランナとモーションコントローラの両方をLLM+A(ffordance)と呼ぶフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-17T03:06:32Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs [140.14239499047977]
  視覚言語モデル(VLM)は、論理的推論から視覚的理解に至るまで、様々なタスクにわたって印象的な能力を示している。 PIVOT(Prompting with Iterative Visual Optimization)と呼ばれる新しい視覚的プロンプト手法を提案する。 私たちのアプローチは、ロボットのトレーニングデータやさまざまな環境でのナビゲーション、その他の能力なしに、ロボットシステムのゼロショット制御を可能にします。
  論文  参考訳（メタデータ） (2024-02-12T18:33:47Z)
• InCoRo: In-Context Learning for Robotics Control with Feedback Loops [4.702566749969133]
  InCoRoは、LLMコントローラ、シーン理解ユニット、ロボットからなる古典的なロボットフィードバックループを使用するシステムである。 システムの一般化能力を強調し,InCoRoが成功率において先行技術を上回ることを示す。 この研究は、動的環境に適応する信頼性があり、効率的でインテリジェントな自律システムを構築するための道を開いた。
  論文  参考訳（メタデータ） (2024-02-07T19:01:11Z)
• QUAR-VLA: Vision-Language-Action Model for Quadruped Robots [37.952398683031895]
  中心となるアイデアは、ロボットの全体的な知性を高めることだ。 本稿では,VLAモデルのファミリである Quadruped Robotic Transformer (QUART) を提案する。 提案手法は,動作可能なロボットポリシーを導き,一貫した能力の獲得を可能にする。
  論文  参考訳（メタデータ） (2023-12-22T06:15:03Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• EgoPlan-Bench: Benchmarking Multimodal Large Language Models for Human-Level Planning [84.6451394629312]
  実世界のシナリオにおけるMLLMの計画能力を評価するベンチマークであるEgoPlan-Benchを紹介する。 EgoPlan-Benchは、人間レベルのタスクプランニングを実現するためのMLLMの改善のかなりの範囲を浮き彫りにする。 また,EgoPlan-Bench上でのモデル性能を効果的に向上する特殊命令チューニングデータセットであるEgoPlan-ITを提案する。
  論文  参考訳（メタデータ） (2023-12-11T03:35:58Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• Look Before You Leap: Unveiling the Power of GPT-4V in Robotic Vision-Language Planning [32.045840007623276]
  本稿では,ロボットビジョン・ランゲージ計画(ViLa)について紹介する。 ViLaは、知覚データを推論と計画プロセスに直接統合する。 実ロボットとシミュレーション環境の両方で実施した評価は,既存のLCMプランナよりもViLaの方が優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-29T17:46:25Z)
• Vision-Language Foundation Models as Effective Robot Imitators [48.73027330407576]
  我々は、オープンソースのVLMであるOpenFlamingo上に構築されたRoboFlamingoというビジョン言語操作フレームワークを考案した。 テストベンチマークでは,最先端のパフォーマンスをはるかに上回って,ロボット制御にVLMを適用する上で,RoboFlamingoが効果的かつ競争力のある代替手段であることを示す。
  論文  参考訳（メタデータ） (2023-11-02T16:34:33Z)
• RoboLLM: Robotic Vision Tasks Grounded on Multimodal Large Language Models [4.4173427917548524]
  MLLM(Multimodal Large Language Models)は、様々な下流タスクのための新しいバックボーンとして登場した。 我々は、ARMBenchチャレンジにおける視覚的認識タスクに対処するため、BEiT-3バックボーンを備えたRoboLLMフレームワークを紹介した。
  論文  参考訳（メタデータ） (2023-10-16T09:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。