論文の概要: Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping
- arxiv url: http://arxiv.org/abs/2309.07970v2
- Date: Mon, 18 Sep 2023 06:17:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 10:09:35.405890
- Title: Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping
- Title（参考訳）: ゼロショットタスク指向把握のための言語組込みラミアンスフィールド
- Authors: Adam Rashid, Satvik Sharma, Chung Min Kim, Justin Kerr, Lawrence Chen,
Angjoo Kanazawa, Ken Goldberg
- Abstract要約: LERF-TOGOは自然言語クエリが与えられたオブジェクトのグリップ分布を生成する。
つまり、その関連性出力は、オブジェクト上で不完全なアクティベーションを返すことが多い。
LERF-TOGOは,31個の物理物体のタスク指向対象部位を把握できる能力を評価し,その正解点を81%,正解点を69%,正解点を81%,正解点を69%とした。
- 参考スコア（独自算出の注目度）: 36.44414682515723
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Grasping objects by a specific part is often crucial for safety and for
executing downstream tasks. Yet, learning-based grasp planners lack this
behavior unless they are trained on specific object part data, making it a
significant challenge to scale object diversity. Instead, we propose LERF-TOGO,
Language Embedded Radiance Fields for Task-Oriented Grasping of Objects, which
uses vision-language models zero-shot to output a grasp distribution over an
object given a natural language query. To accomplish this, we first reconstruct
a LERF of the scene, which distills CLIP embeddings into a multi-scale 3D
language field queryable with text. However, LERF has no sense of objectness,
meaning its relevancy outputs often return incomplete activations over an
object which are insufficient for subsequent part queries. LERF-TOGO mitigates
this lack of spatial grouping by extracting a 3D object mask via DINO features
and then conditionally querying LERF on this mask to obtain a semantic
distribution over the object with which to rank grasps from an off-the-shelf
grasp planner. We evaluate LERF-TOGO's ability to grasp task-oriented object
parts on 31 different physical objects, and find it selects grasps on the
correct part in 81% of all trials and grasps successfully in 69%. See the
project website at: lerftogo.github.io
- Abstract（参考訳）: 特定の部分によるオブジェクトの把握は、しばしば安全性とダウンストリームタスクの実行に不可欠である。
しかし、学習ベースの把握プランナーは、特定のオブジェクト部分データでトレーニングされない限り、このような振る舞いを欠いている。
そこで本研究では,タスク指向の物体把握のための言語組込み放射場であるlerf-togoを提案する。
そこで我々はまずシーンのLERFを再構築し,CLIPの埋め込みをテキストで検索可能な大規模3D言語フィールドに蒸留する。
しかし、LERFは目的意識を持たないため、その関連性出力は、その後の部分クエリに不十分なオブジェクトに対して不完全なアクティベーションを返すことが多い。
LERF-TOGOはこの空間的グルーピングの欠如を、DINO特徴を介して3Dオブジェクトマスクを抽出し、そのマスク上のLERFを条件付きクエリすることで軽減し、オフザシェルフグリッププランナーからの把握をランク付けするオブジェクトのセマンティック分布を得る。
LERF-TOGOは,31個の物理物体のタスク指向対象部位を把握できる能力を評価し,その正解点を81%,正解点を69%,正解点を81%,正解点を69%とした。
プロジェクトのwebサイト: lerftogo.github.io
関連論文リスト
- Multi3DRefer: Grounding Text Description to Multiple 3D Objects [15.54885309441946]
本稿では,自然言語記述を用いて,現実の3Dシーンにおけるフレキシブルなオブジェクトをローカライズするタスクを紹介する。
我々のデータセットには1609個のオブジェクトの61926の記述が含まれており、0、単、複数個の対象オブジェクトがそれぞれの記述によって参照される。
コントラスト学習による提案をオンラインでレンダリングすることで,CLIPの2D機能を活用したより良いベースラインを構築する。
論文 参考訳（メタデータ） (2023-09-11T06:03:39Z) - LERF: Language Embedded Radiance Fields [35.925752853115476]
Language Embedded Radiance Fields (LERF) は、CLIPのような市販のモデルからNeRFへの言語埋め込みを基盤とする手法である。
LERFは、トレーニング線に沿ってCLIP埋め込みをボリュームレンダリングすることで、NeRF内の密集したマルチスケール言語フィールドを学習する。
最適化後、LERFは広範囲の言語プロンプトに対してリアルタイムに3D関連性マップを抽出できる。
論文 参考訳（メタデータ） (2023-03-16T17:59:20Z) - ZEROTOP: Zero-Shot Task-Oriented Semantic Parsing using Large Language
Models [6.13621607944513]
本稿では,ゼロショットタスク指向構文解析法であるZEROTOPを提案する。
MTOPデータセットの発話の16%を,注釈付きデータを必要とすることなく正確に解析できることを示す。
論文 参考訳（メタデータ） (2022-12-21T07:06:55Z) - Language Conditioned Spatial Relation Reasoning for 3D Object Grounding [87.03299519917019]
自然言語に基づく3Dシーンにおけるオブジェクトのローカライズには,空間的関係の理解と推論が必要である。
本稿では,3次元オブジェクトとその空間関係をグラウンド化するための言語条件付きトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2022-11-17T16:42:39Z) - LaTeRF: Label and Text Driven Object Radiance Fields [8.191404990730236]
シーン全体と既知のカメラポーズの2次元画像から興味の対象を抽出するLaTeRFを提案する。
シーンからオブジェクトを忠実に抽出するために、LaTeRFはNeRFの定式化を3Dポイントごとに追加のオブジェクト性確率で拡張する。
合成データと実データの両方で高忠実度オブジェクト抽出を実証する。
論文 参考訳（メタデータ） (2022-07-04T17:07:57Z) - Learning 6-DoF Object Poses to Grasp Category-level Objects by Language
Instructions [74.63313641583602]
本稿では,既知カテゴリから把握する任意のオブジェクトのタスクを,自由形式の言語命令を用いて検討する。
我々はこれらの規律を、人間とロボットの相互作用に不可欠なオープンチャレンジにまとめる。
言語誘導型6-DoFカテゴリーレベルの物体位置定位モデルを提案する。
論文 参考訳（メタデータ） (2022-05-09T04:25:14Z) - ImpDet: Exploring Implicit Fields for 3D Object Detection [74.63774221984725]
我々は、境界ボックス回帰を暗黙の関数として見る新しい視点を導入する。
これは、Implicit DetectionまたはImpDetと呼ばれる提案されたフレームワークにつながります。
我々のImpDetは、異なる局所的な3次元空間の点に特定の値を割り当て、高品質な境界を生成することができる。
論文 参考訳（メタデータ） (2022-03-31T17:52:12Z) - Looking Outside the Box to Ground Language in 3D Scenes [27.126171549887232]
本稿では,3つの主要な革新を伴う3次元シーンにおける接地言語モデルを提案する。
言語ストリーム、ポイントクラウド機能ストリーム、および3Dボックスの提案に反復的に注目する。
3Dオブジェクトアノテーションと言語基底アノテーションからの共同管理。
マイナーな変更を伴う2Dイメージの言語基盤に適用すると、GPU時間の半分に収束しながら、最先端の処理と同等に動作します。
論文 参考訳（メタデータ） (2021-12-16T13:50:23Z) - Objects are Different: Flexible Monocular 3D Object Detection [87.82253067302561]
そこで本研究では,乱れたオブジェクトを明示的に分離し,オブジェクト深度推定のための複数のアプローチを適応的に組み合わせたモノクル3次元オブジェクト検出のためのフレキシブルなフレームワークを提案する。
実験の結果,本手法はkittiベンチマークテストセットにおいて,中等度レベルが27%,硬度が30%と,最先端法を27%上回った。
論文 参考訳（メタデータ） (2021-04-06T07:01:28Z) - Locate then Segment: A Strong Pipeline for Referring Image Segmentation [73.19139431806853]
参照画像セグメンテーションは、自然言語表現によって参照されるオブジェクトをセグメンテーションすることを目的とする。
従来の方法は、視覚言語機能を融合させ、最終的なセグメンテーションマスクを直接生成するための暗黙的および反復的な相互作用メカニズムの設計に焦点を当てています。
これらの問題に取り組むための「Then-Then-Segment」スキームを紹介します。
私たちのフレームワークはシンプルですが驚くほど効果的です。
論文 参考訳（メタデータ） (2021-03-30T12:25:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。