論文の概要: Find Any Part in 3D

• arxiv url: http://arxiv.org/abs/2411.13550v2
• Date: Fri, 28 Mar 2025 04:36:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:06:05.862917
• Title: Find Any Part in 3D
• Title（参考訳）: 3Dでどんな部分でも探す
• Authors: Ziqi Ma, Yisong Yue, Georgia Gkioxari,
• Abstract要約: 2Dファウンデーションモデルを利用したデータエンジンを構築することで,このデータバリアを壊すことが可能であることを示す。 私たちのデータエンジンは、任意の数のオブジェクト部品に自動的に注釈を付けます。 我々はmIoUの260%の改善を実現し、速度を6倍から300倍に向上させた。
• 参考スコア（独自算出の注目度）: 29.232543319667005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Why don't we have foundation models in 3D yet? A key limitation is data scarcity. For 3D object part segmentation, existing datasets are small in size and lack diversity. We show that it is possible to break this data barrier by building a data engine powered by 2D foundation models. Our data engine automatically annotates any number of object parts: 1755x more unique part types than existing datasets combined. By training on our annotated data with a simple contrastive objective, we obtain an open-world model that generalizes to any part in any object based on any text query. Even when evaluated zero-shot, we outperform existing methods on the datasets they train on. We achieve 260% improvement in mIoU and boost speed by 6x to 300x. Our scaling analysis confirms that this generalization stems from the data scale, which underscores the impact of our data engine. Finally, to advance general-category open-world 3D part segmentation, we release a benchmark covering a wide range of objects and parts. Project website: https://ziqi-ma.github.io/find3dsite/
• Abstract（参考訳）: 私たちはまだ3Dの基礎モデルを持っていませんか? 重要な制限はデータの不足である。 3Dオブジェクト部分のセグメンテーションでは、既存のデータセットはサイズが小さく、多様性がない。 2Dファウンデーションモデルを利用したデータエンジンを構築することで,このデータバリアを壊すことが可能であることを示す。 私たちのデータエンジンは、任意の数のオブジェクト部品に自動的に注釈を付けます。 注釈付きデータを単純なコントラスト目的でトレーニングすることにより、任意のテキストクエリに基づいて任意のオブジェクトの任意の部分に一般化するオープンワールドモデルを得る。 ゼロショットを評価しても、トレーニングしたデータセットの既存のメソッドよりも優れています。 我々はmIoUの260%の改善を実現し、速度を6倍から300倍に向上させた。 我々のスケーリング分析では、この一般化は、データエンジンの影響を裏付けるデータスケールに由来することを確認しています。 最後に、一般分野のオープンワールド3D部分セグメンテーションを進めるために、幅広いオブジェクトや部品をカバーするベンチマークをリリースする。 プロジェクトウェブサイト:https://ziqi-ma.github.io/find3dsite/

関連論文リスト

• PARTFIELD: Learning 3D Feature Fields for Part Segmentation and Beyond [70.95930509071451]
  PartFieldは、パートベースの3D機能を学ぶためのフィードフォワードアプローチである。 PartFieldは、他のクラスに依存しない部分分割方法よりも最大20%正確で、多くの場合、桁違いに高速です。
  論文  参考訳（メタデータ） (2025-04-15T17:58:16Z)
• 3D Part Segmentation via Geometric Aggregation of 2D Visual Features [57.20161517451834]
  監督された3D部分分割モデルは、固定されたオブジェクトと部品のセットに合わせて調整されており、それらの転送可能性は、オープンセットの現実世界のシナリオに制限される。 近年、視覚言語モデル(VLM)を多視点レンダリングとテキストプロンプトを用いてオブジェクト部品の識別に活用する研究が進められている。 これらの制約に対処するために,視覚概念から抽出した意味論と3次元幾何学をブレンドし,対象部品を効果的に同定するCOPSを提案する。
  論文  参考訳（メタデータ） (2024-12-05T15:27:58Z)
• 3x2: 3D Object Part Segmentation by 2D Semantic Correspondences [33.99493183183571]
  本稿では,いくつかのアノテーション付き3D形状やリッチアノテーション付き2Dデータセットを活用して3Dオブジェクト部分のセグメンテーションを実現することを提案する。 我々は,様々な粒度レベルのベンチマークでSOTA性能を実現する3-By-2という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-12T19:08:00Z)
• Flash3D: Feed-Forward Generalisable 3D Scene Reconstruction from a Single Image [80.48452783328995]
  Flash3Dは、1つの画像からシーン再構成と新しいビュー合成を行う方法である。 一般性については、単分子深度推定のための「基礎」モデルから始める。 効率性のために、我々はこの拡張をフィードフォワードガウススプラッティングに基づける。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• Reasoning3D -- Grounding and Reasoning in 3D: Fine-Grained Zero-Shot Open-Vocabulary 3D Reasoning Part Segmentation via Large Vision-Language Models [20.277479473218513]
  オブジェクトの検索とローカライズのためのZero-Shot 3D Reasoningを提案する。 複雑なコマンドを理解し実行するためのシンプルなベースラインメソッドReasoning3Dを設計する。 Reasoning3Dは、暗黙のテキストクエリに基づいて、3Dオブジェクトの一部を効果的にローカライズし、ハイライトすることができることを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:56:07Z)
• Reconstructing Hand-Held Objects in 3D from Images and Videos [53.277402172488735]
  モノクローナルなRGB映像が与えられると、時間とともに手持ちの物体の幾何学を3Dで再構築することを目指している。 1枚のRGB画像から手と物体の形状を共同で再構成するMCC-Hand-Object(MCC-HO)を提案する。 次に、GPT-4(V)を用いてテキストから3D生成モデルを作成し、画像中のオブジェクトにマッチする3Dオブジェクトモデルを検索する。
  論文  参考訳（メタデータ） (2024-04-09T17:55:41Z)
• PARIS3D: Reasoning-based 3D Part Segmentation Using Large Multimodal Model [19.333506797686695]
  本稿では,3次元オブジェクトに対する推論部分分割と呼ばれる新しいセグメンテーションタスクを提案する。 我々は3Dオブジェクトの特定の部分に関する複雑で暗黙的なテキストクエリに基づいてセグメンテーションマスクを出力する。 本稿では,暗黙のテキストクエリに基づいて3次元オブジェクトの一部を分割し,自然言語による説明を生成するモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-04T23:38:45Z)
• Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation without Manual Labels [141.23836433191624]
  現在の3Dシーンセグメンテーション手法は、手動で注釈付けされた3Dトレーニングデータセットに大きく依存している。 高品質な3Dセグメンテーションマスクを生成するクラス非依存の3Dシーンセグメンテーション法であるSegment3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-28T18:57:11Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• SAM-guided Graph Cut for 3D Instance Segmentation [60.75119991853605]
  本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。 本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。 本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:58Z)
• Uni3D: Exploring Unified 3D Representation at Scale [66.26710717073372]
  大規模に統一された3次元表現を探索する3次元基礎モデルであるUni3Dを提案する。 Uni3Dは、事前にトレーニングされた2D ViTのエンドツーエンドを使用して、3Dポイントクラウド機能と画像テキスト整列機能とを一致させる。 強力なUni3D表現は、野生での3D絵画や検索などの応用を可能にする。
  論文  参考訳（メタデータ） (2023-10-10T16:49:21Z)
• Visual Localization using Imperfect 3D Models from the Internet [54.731309449883284]
  本稿では,3次元モデルにおける欠陥が局所化精度に与える影響について検討する。 インターネットから得られる3Dモデルは、容易に表現できるシーン表現として有望であることを示す。
  論文  参考訳（メタデータ） (2023-04-12T16:15:05Z)
• PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained Image-Language Models [56.324516906160234]
  一般化可能な3D部分分割は重要だが、ビジョンとロボティクスでは難しい。 本稿では,事前学習した画像言語モデルGLIPを利用して,3次元点雲の低ショット部分分割法を提案する。 我々は2Dから3Dへの豊富な知識を、ポイントクラウドレンダリングにおけるGLIPに基づく部分検出と新しい2D-to-3Dラベルリフトアルゴリズムにより転送する。
  論文  参考訳（メタデータ） (2022-12-03T06:59:01Z)
• LocPoseNet: Robust Location Prior for Unseen Object Pose Estimation [69.70498875887611]
  LocPoseNetは、見えないオブジェクトに先立って、ロバストにロケーションを学習することができる。 提案手法は,LINEMOD と GenMOP において,既存の作業よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-29T15:21:34Z)
• Primitive3D: 3D Object Dataset Synthesis from Randomly Assembled Primitives [44.03149443379618]
  アノテーションで大量の3Dオブジェクトを自動生成するコスト効率のよい手法を提案する。 これらのオブジェクトはプリミティブから派生した部分ラベルで自動アノテーションされる。 生成したデータセットに対する学習のオーバーヘッドが大きいことを考慮し,データセットの蒸留戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-25T10:07:07Z)
• OPD: Single-view 3D Openable Part Detection [20.17537159013785]
  オブジェクトのどの部分が開くのか、どのように動くのかを予測するタスクに対処する。 入力はオブジェクトの1つのイメージであり、出力として、オブジェクトのどの部分が開き得るか、そして各開き可能な部分の関節を記述する運動パラメータを検出する。 次に、オープンな部分を検出し、その動作パラメータを予測するニューラルネットワークであるPDRCNNを設計する。
  論文  参考訳（メタデータ） (2022-03-30T16:02:19Z)
• Common Objects in 3D: Large-Scale Learning and Evaluation of Real-life 3D Category Reconstruction [7.013794773659423]
  3Dの共通オブジェクト(Common Objects in 3D)は、カメラのポーズと地上の真実の3Dポイントクラウドで注釈付けされたオブジェクトカテゴリの実際のマルチビューイメージを備えた大規模なデータセットである。 データセットには、50のMS-COCOカテゴリからオブジェクトをキャプチャする19,000近いビデオから、合計150万フレームが含まれている。 我々は、この新たなデータセットを利用して、いくつかの新しいビュー合成法とカテゴリ中心の3D再構成法に関する、最初の大規模"in-the-wild"評価を行う。
  論文  参考訳（メタデータ） (2021-09-01T17:59:05Z)
• Self-Supervised Pretraining of 3D Features on any Point-Cloud [40.26575888582241]
  3D登録なしで任意の3Dデータを扱うことができる簡単な自己監督関連方法を紹介します。 オブジェクト検出、セマンティックセグメンテーション、オブジェクト分類の9つのベンチマークでモデルを評価し、最新の結果を達成し、教師付きプリトレーニングを上回ります。
  論文  参考訳（メタデータ） (2021-01-07T18:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。