論文の概要: MOKA: Open-Vocabulary Robotic Manipulation through Mark-Based Visual Prompting

• arxiv url: http://arxiv.org/abs/2403.03174v1
• Date: Tue, 5 Mar 2024 18:08:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 13:51:09.597466
• Title: MOKA: Open-Vocabulary Robotic Manipulation through Mark-Based Visual Prompting
• Title（参考訳）: Moka: Mark-based Visual Promptingによるオープン語彙ロボットマニピュレーション
• Authors: Fangchen Liu, Kuan Fang, Pieter Abbeel, Sergey Levine
• Abstract要約: Moka(Marking Open-vocabulary Keypoint Affordances)は,視覚言語モデルを用いたロボット操作タスクの解法である。 我々のアプローチの核心は、物理的世界におけるVLMのRGB画像とロボットの動きの予測を橋渡しする、手頃さと動きのコンパクトなポイントベース表現である。 我々は,自由形式の言語記述によって規定される様々な操作タスクに対して,Mokaの性能を評価し,分析する。
• 参考スコア（独自算出の注目度）: 106.53784213239479
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-vocabulary generalization requires robotic systems to perform tasks involving complex and diverse environments and task goals. While the recent advances in vision language models (VLMs) present unprecedented opportunities to solve unseen problems, how to utilize their emergent capabilities to control robots in the physical world remains an open question. In this paper, we present MOKA (Marking Open-vocabulary Keypoint Affordances), an approach that employs VLMs to solve robotic manipulation tasks specified by free-form language descriptions. At the heart of our approach is a compact point-based representation of affordance and motion that bridges the VLM's predictions on RGB images and the robot's motions in the physical world. By prompting a VLM pre-trained on Internet-scale data, our approach predicts the affordances and generates the corresponding motions by leveraging the concept understanding and commonsense knowledge from broad sources. To scaffold the VLM's reasoning in zero-shot, we propose a visual prompting technique that annotates marks on the images, converting the prediction of keypoints and waypoints into a series of visual question answering problems that are feasible for the VLM to solve. Using the robot experiences collected in this way, we further investigate ways to bootstrap the performance through in-context learning and policy distillation. We evaluate and analyze MOKA's performance on a variety of manipulation tasks specified by free-form language descriptions, such as tool use, deformable body manipulation, and object rearrangement.
• Abstract（参考訳）: オープン語彙の一般化は、複雑で多様な環境やタスク目標を含むタスクを実行するロボットシステムを必要とする。 近年の視覚言語モデル(VLM)の進歩は、目に見えない問題を解決するための前例のない機会を提供する一方で、その創発的能力を利用して物理的な世界でロボットを制御する方法は、未解決の課題である。 本稿では,自由形式の言語記述で指定されたロボット操作タスクを解決するために,VLMを用いたMoka(Marking Open-vocabulary Keypoint Affordances)を提案する。 我々のアプローチの核心は、物理的世界におけるVLMのRGB画像とロボットの動きの予測を橋渡しする、手頃さと動きのコンパクトなポイントベース表現である。 提案手法は,インターネット規模のデータに基づいて事前学習したVLMを推し進めることにより,概念理解と共通知識を広義の情報源から活用することにより,その価値を予測し,対応する動作を生成する。 ゼロショットでのVLMの推論を足場として,画像にアノテートする視覚的プロンプト技術を提案し,キーポイントとウェイポイントの予測を,VLMが解決可能な一連の視覚的質問応答問題に変換する。 このような方法で収集したロボット体験を用いて、文脈内学習とポリシー蒸留を通じてパフォーマンスをブートストラップする方法をさらに調査する。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,自由形式の言語記述によって規定される様々な操作タスクに対して,Mokaの性能を評価し,解析する。

関連論文リスト

• Solving Robotics Problems in Zero-Shot with Vision-Language Models [0.0]
  ゼロショット方式でロボットの問題を解くために設計された多エージェント視覚大言語モデル(VLLM)フレームワークであるWonderful Teamを紹介した。 我々の文脈では、ゼロショットは、新しい環境において、ロボットの周囲のイメージとタスク記述を備えたVLLMを提供することを意味する。 私たちのシステムは、操作、ゴールリーチ、視覚的推論といった多様なタスクを、すべてゼロショットで処理できる能力を示しています。
  論文  参考訳（メタデータ） (2024-07-26T21:18:57Z)
• PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs [140.14239499047977]
  視覚言語モデル(VLM)は、論理的推論から視覚的理解に至るまで、様々なタスクにわたって印象的な能力を示している。 PIVOT(Prompting with Iterative Visual Optimization)と呼ばれる新しい視覚的プロンプト手法を提案する。 私たちのアプローチは、ロボットのトレーニングデータやさまざまな環境でのナビゲーション、その他の能力なしに、ロボットシステムのゼロショット制御を可能にします。
  論文  参考訳（メタデータ） (2024-02-12T18:33:47Z)
• Voila-A: Aligning Vision-Language Models with User's Gaze Attention [56.755993500556734]
  視覚言語モデル(VLM)を導くために,人間の注意の代用として視線情報を導入する。 本稿では,視線アライメントのための新しいアプローチであるVoila-Aを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:01Z)
• QUAR-VLA: Vision-Language-Action Model for Quadruped Robots [37.952398683031895]
  中心となるアイデアは、ロボットの全体的な知性を高めることだ。 本稿では,VLAモデルのファミリである Quadruped Robotic Transformer (QUART) を提案する。 提案手法は,動作可能なロボットポリシーを導き,一貫した能力の獲得を可能にする。
  論文  参考訳（メタデータ） (2023-12-22T06:15:03Z)
• Vision-Language Foundation Models as Effective Robot Imitators [48.73027330407576]
  我々は、オープンソースのVLMであるOpenFlamingo上に構築されたRoboFlamingoというビジョン言語操作フレームワークを考案した。 テストベンチマークでは,最先端のパフォーマンスをはるかに上回って,ロボット制御にVLMを適用する上で,RoboFlamingoが効果的かつ競争力のある代替手段であることを示す。
  論文  参考訳（メタデータ） (2023-11-02T16:34:33Z)
• Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
  我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。 このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。 マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-14T22:24:58Z)
• Expanding Frozen Vision-Language Models without Retraining: Towards Improved Robot Perception [0.0]
  視覚言語モデル(VLM)は、視覚的質問応答と推論タスクにおいて強力な能力を示している。 本稿では,異なるモダリティの埋め込み空間を視覚埋め込み空間に整列させる手法を示す。 複数モードを入力として使用すると、VLMのシーン理解が向上し、様々なタスクにおける全体的なパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-08-31T06:53:55Z)
• AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot Manipulation [50.737355245505334]
  本稿では,ロボット操作タスクにおける高レベル認知能力を学習するための新しいフレームワークを提案する。 得られたデータセットAlphaBlockは、多段階のテキストプランとペア観測による35の包括的なハイレベルタスクで構成されている。
  論文  参考訳（メタデータ） (2023-05-30T09:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。