Fugu-MT 論文翻訳(概要): Physically Grounded Vision-Language Models for Robotic Manipulation

論文の概要: Physically Grounded Vision-Language Models for Robotic Manipulation

arxiv url: http://arxiv.org/abs/2309.02561v2
Date: Wed, 13 Sep 2023 21:40:56 GMT
ステータス: 処理完了
システム内更新日: 2023-09-15 18:10:20.050544
Title: Physically Grounded Vision-Language Models for Robotic Manipulation
Title（参考訳）: ロボット操作のための物理的接地視覚言語モデル
Authors: Jensen Gao, Bidipta Sarkar, Fei Xia, Ted Xiao, Jiajun Wu, Brian Ichter, Anirudha Majumdar, Dorsa Sadigh
Abstract要約: 39.6Kのクラウドソースと417Kの自動物理概念アノテーションからなるオブジェクト中心のデータセットであるPhysObjectsを提案する。本稿では,PhysObjects上での視覚言語モデルの微調整により,物理オブジェクト概念の理解が向上することを示す。我々は、この物理的に座屈したVLMを、大規模言語モデルに基づくロボットプランナーと対話的なフレームワークに組み込む。
参考スコア（独自算出の注目度）: 59.143640049407104
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in vision-language models (VLMs) have led to improved performance on tasks such as visual question answering and image captioning. Consequently, these models are now well-positioned to reason about the physical world, particularly within domains such as robotic manipulation. However, current VLMs are limited in their understanding of the physical concepts (e.g., material, fragility) of common objects, which restricts their usefulness for robotic manipulation tasks that involve interaction and physical reasoning about such objects. To address this limitation, we propose PhysObjects, an object-centric dataset of 39.6K crowd-sourced and 417K automated physical concept annotations of common household objects. We demonstrate that fine-tuning a VLM on PhysObjects improves its understanding of physical object concepts, including generalization to held-out concepts, by capturing human priors of these concepts from visual appearance. We incorporate this physically-grounded VLM in an interactive framework with a large language model-based robotic planner, and show improved planning performance on tasks that require reasoning about physical object concepts, compared to baselines that do not leverage physically-grounded VLMs. We additionally illustrate the benefits of our physically-grounded VLM on a real robot, where it improves task success rates. We release our dataset and provide further details and visualizations of our results at https://iliad.stanford.edu/pg-vlm/.
Abstract（参考訳）: 視覚言語モデル(vlms)の最近の進歩は、視覚質問応答や画像キャプションといったタスクのパフォーマンス向上につながった。その結果、これらのモデルは現在、特にロボット操作のような領域において、物理的世界に関する推論に適している。しかしながら、現在のVLMは、一般的な物体の物理的概念(材料、脆弱性など)に対する理解に限られており、そのような物体に対する相互作用や物理的推論を含むロボット操作タスクにおいて有用性を制限する。この制限に対処するために、39.6Kのクラウドソースと417Kの自動物理概念アノテーションからなるオブジェクト中心のデータセットであるPhysObjectsを提案する。 physobjects 上の vlm の微調整は、視覚から人間の先行概念を捉えることにより、保持された概念への一般化を含む物理的対象概念の理解を改善することを実証する。我々は、この物理接地型VLMを、大規模言語モデルに基づくロボットプランナーと対話的なフレームワークに統合し、物理接地型VLMを使わないベースラインと比較して、物理対象概念の推論を必要とするタスクにおける計画性能の向上を示す。さらに、実際のロボットに物理的に座ったVLMの利点を説明し、タスク成功率を改善する。私たちはデータセットをリリースし、結果のさらなる詳細と可視化をhttps://iliad.stanford.edu/pg-vlm/で発表します。

関連論文リスト

Which objects help me to act effectively? Reasoning about physically-grounded affordances [0.6291443816903801]
この理解の重要な側面は、オブジェクトの余裕を検出することである。提案手法は,大規模言語モデル (LLM) と視覚言語モデル (VLM) の対話を利用して,オープンワールドのアベイランス検出を実現する。我々のシステムを物理的世界に接地することで、ロボットの体現と、遭遇する物体の本質的な性質を説明できる。
論文参考訳（メタデータ） (2024-07-18T11:08:57Z)
Unsupervised Dynamics Prediction with Object-Centric Kinematics [22.119612406160073]
本稿では,オブジェクト中心表現を利用した動的予測フレームワークであるOcK(Object-Centric Kinematics)を提案する。 OCKは、物体の位置、速度、加速度の低レベルな構造化状態で構成されている。本モデルは,多種多様なオブジェクト属性と動的動きを特徴とする複雑なシーンにおけるオブジェクトと背景の扱いにおいて,優れた性能を示す。
論文参考訳（メタデータ） (2024-04-29T04:47:23Z)
PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
論文参考訳（メタデータ） (2024-04-19T17:41:05Z)
PhyGrasp: Generalizing Robotic Grasping with Physics-informed Large Multimodal Models [58.33913881592706]
人間は、自分の直感的な物理学を巧みに把握し、これまで見たことのない物体であっても、効率的に把握を変更できる。この研究は、そのような物理的常識的推論をロボット操作に注入することに注力している。自然言語と3次元点雲の2つのモードからの入力を利用するマルチモーダル大モデルであるPhyGraspを紹介する。
論文参考訳（メタデータ） (2024-02-26T18:57:52Z)
AffordanceLLM: Grounding Affordance from Vision Language Models [36.97072698640563]
Affordance groundingは、対話可能なオブジェクトの領域を見つけるタスクを指す。知識の多くは隠蔽され、限られたトレーニングセットから教師付きラベルで画像の内容を超えています。我々は、豊かな世界、抽象的、人間-対象-相互作用の知識を生かして、現在の空き地における一般化能力の向上を図る。
論文参考訳（メタデータ） (2024-01-12T03:21:02Z)
WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model [92.90127398282209]
本稿では,最新のLarge Language Models(LLM)と既存のビジュアルグラウンドとロボットグルーピングシステムを統合する可能性について検討する。本稿では,この統合の例としてWALL-E (Embodied Robotic WAiter load lifting with Large Language model)を紹介する。我々は,このLCMを利用したシステムを物理ロボットに展開し,よりユーザフレンドリなインタフェースで指導誘導型把握タスクを実現する。
論文参考訳（メタデータ） (2023-08-30T11:35:21Z)
Dynamic Visual Reasoning by Learning Differentiable Physics Models from Video and Language [92.7638697243969]
視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
論文参考訳（メタデータ） (2021-10-28T17:59:13Z)
INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文参考訳（メタデータ） (2021-08-25T07:35:21Z)
Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
論文参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。