論文の概要: Locate 3D: Real-World Object Localization via Self-Supervised Learning in 3D

• arxiv url: http://arxiv.org/abs/2504.14151v1
• Date: Sat, 19 Apr 2025 02:51:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 04:41:02.15488
• Title: Locate 3D: Real-World Object Localization via Self-Supervised Learning in 3D
• Title（参考訳）: Locate 3D: 3Dにおける自己教師付き学習による実世界のオブジェクトローカライゼーション
• Authors: Sergio Arnaud, Paul McVay, Ada Martin, Arjun Majumdar, Krishna Murthy Jatavallabhula, Phillip Thomas, Ruslan Partsey, Daniel Dugas, Abha Gejji, Alexander Sax, Vincent-Pierre Berges, Mikael Henaff, Ayush Jain, Ang Cao, Ishita Prasad, Mrinal Kalakrishnan, Michael Rabbat, Nicolas Ballas, Mido Assran, Oleksandr Maksymets, Aravind Rajeswaran, Franziska Meier,
• Abstract要約: LOCATE 3Dは「ソファーとランプの間の小さなコーヒーテーブル」のような表現から3Dシーンの物体をローカライズするモデルである センサー・オブザーバ・ストリーム(RGB-Dフレームの配置)を直接操作し、ロボットやARデバイスへの現実世界の展開を可能にする。
• 参考スコア（独自算出の注目度）: 68.23391872643268
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present LOCATE 3D, a model for localizing objects in 3D scenes from referring expressions like "the small coffee table between the sofa and the lamp." LOCATE 3D sets a new state-of-the-art on standard referential grounding benchmarks and showcases robust generalization capabilities. Notably, LOCATE 3D operates directly on sensor observation streams (posed RGB-D frames), enabling real-world deployment on robots and AR devices. Key to our approach is 3D-JEPA, a novel self-supervised learning (SSL) algorithm applicable to sensor point clouds. It takes as input a 3D pointcloud featurized using 2D foundation models (CLIP, DINO). Subsequently, masked prediction in latent space is employed as a pretext task to aid the self-supervised learning of contextualized pointcloud features. Once trained, the 3D-JEPA encoder is finetuned alongside a language-conditioned decoder to jointly predict 3D masks and bounding boxes. Additionally, we introduce LOCATE 3D DATASET, a new dataset for 3D referential grounding, spanning multiple capture setups with over 130K annotations. This enables a systematic study of generalization capabilities as well as a stronger model.
• Abstract（参考訳）: LOCATE 3Dは「ソファーとランプの間の小さなコーヒーテーブル」のような表現から3Dシーンの物体をローカライズするモデルである。 LOCATE 3Dは、標準基準グラウンドベンチマークに基づいて、新しい最先端の基盤を設定し、堅牢な一般化機能を示す。 注目すべきなのは、LOCATE 3Dはセンサー観測ストリーム(RGB-Dフレームの配置)を直接操作することで、ロボットやARデバイスへの現実的な展開を可能にすることだ。 このアプローチの鍵となるのは,センサポイントクラウドに適用可能な,新たな自己教師付き学習(SSL)アルゴリズムである3D-JEPAです。 2Dファウンデーションモデル(CLIP、DINO)を使用して、3Dポイントクラウドを出力する。 その後、コンテキスト化されたポイントクラウドの特徴の自己教師付き学習を支援するために、潜在空間におけるマスク付き予測がプレテキストタスクとして使用される。 訓練後、3D-JEPAエンコーダは言語条件のデコーダとともに微調整され、3Dマスクとバウンディングボックスを共同で予測する。 さらに、3D参照グラウンドのための新しいデータセットであるLOCATE 3D DataSETを導入し、130K以上のアノテーションで複数のキャプチャ設定にまたがる。 これにより、より強いモデルだけでなく、一般化能力の体系的な研究が可能になる。

関連論文リスト

• Detect Anything 3D in the Wild [34.293450721860616]
  DetAny3Dは任意のカメラ構成で新しい物体を検知できる3D検出基盤モデルである。 2D知識を3Dに効果的に転送するために、DetAny3Dは2DアグリゲータとZero-Embedding Mappingによる3Dインタプリタという2つのコアモジュールを組み込んでいる。 DetAny3Dは、未確認のカテゴリや新しいカメラ構成の最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-04-10T17:59:22Z)
• Lift3D Foundation Policy: Lifting 2D Large-Scale Pretrained Models for Robust 3D Robotic Manipulation [30.744137117668643]
  Lift3Dは、ロバストな3D操作ポリシーを構築するために、暗黙的で明示的な3Dロボット表現で2Dファンデーションモデルを強化するフレームワークである。 実験では、Lift3Dはいくつかのシミュレーションベンチマークや実世界のシナリオで、最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-11-27T18:59:52Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Uni3D: Exploring Unified 3D Representation at Scale [66.26710717073372]
  大規模に統一された3次元表現を探索する3次元基礎モデルであるUni3Dを提案する。 Uni3Dは、事前にトレーニングされた2D ViTのエンドツーエンドを使用して、3Dポイントクラウド機能と画像テキスト整列機能とを一致させる。 強力なUni3D表現は、野生での3D絵画や検索などの応用を可能にする。
  論文  参考訳（メタデータ） (2023-10-10T16:49:21Z)
• 3D-LLM: Injecting the 3D World into Large Language Models [60.43823088804661]
  大規模言語モデル (LLM) と視覚言語モデル (VLM) は、常識推論のような複数のタスクで優れていることが証明されている。 本稿では,大規模言語モデルに3Dワールドを注入し,新しい3D-LLMのファミリーを導入することを提案する。 具体的には、3D-LLMは3Dポイントクラウドとその機能を入力として取り込んで、さまざまな3D関連タスクを実行することができる。
  論文  参考訳（メタデータ） (2023-07-24T17:59:02Z)
• Learning Occupancy for Monocular 3D Object Detection [25.56336546513198]
  モノクローナル3次元検出のための占有度学習法であるtextbfOccupancy M3D を提案する。 フラストムと3D空間の占有を直接学習し、より差別的で情報的な3D特徴や表現をもたらす。 KITTIとオープンデータセットの実験により,提案手法が新たな最先端技術を実現し,他の手法をはるかに上回っていることが示された。
  論文  参考訳（メタデータ） (2023-05-25T04:03:46Z)
• Point2Seq: Detecting 3D Objects as Sequences [58.63662049729309]
  我々は、ポイントクラウドから3次元オブジェクトを検出するためのシンプルで効果的なフレームワーク、Point2Seqを提案する。 我々は,各3Dオブジェクトを単語列とみなし,その3Dオブジェクト検出タスクを,自動回帰的に3Dシーンからの単語の復号化として再構成する。
  論文  参考訳（メタデータ） (2022-03-25T00:20:31Z)
• Weakly Supervised 3D Object Detection from Point Clouds [27.70180601788613]
  3Dオブジェクト検出は、特定のクラスに属するオブジェクトの3D境界ボックスを検出し、ローカライズすることを目的としている。 既存の3Dオブジェクト検出器は、トレーニング中にアノテーション付き3Dバウンディングボックスに依存している。 基礎となる真理3D境界ボックスを使わずに点雲からの3Dオブジェクト検出を弱教師付きで行うためのフレームワークであるVS3Dを提案する。
  論文  参考訳（メタデータ） (2020-07-28T03:30:11Z)
• D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features [51.04841465193678]
  私たちは3Dポイントクラウドに3D完全畳み込みネットワークを活用しています。 本稿では,3次元点ごとに検出スコアと記述特徴の両方を密に予測する,新しい,実践的な学習機構を提案する。 本手法は,屋内と屋外の両方のシナリオで最先端の手法を実現する。
  論文  参考訳（メタデータ） (2020-03-06T12:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。