論文の概要: OnlineAnySeg: Online Zero-Shot 3D Segmentation by Visual Foundation Model Guided 2D Mask Merging

• arxiv url: http://arxiv.org/abs/2503.01309v1
• Date: Mon, 03 Mar 2025 08:48:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:18:27.082582
• Title: OnlineAnySeg: Online Zero-Shot 3D Segmentation by Visual Foundation Model Guided 2D Mask Merging
• Title（参考訳）: OnlineAnySeg: Visual Foundation Model Guided 2D Mask Mergingによるオンラインゼロショット3Dセグメンテーション
• Authors: Yijie Tang, Jiazhao Zhang, Yuqing Lan, Yulan Guo, Dezun Dong, Chenyang Zhu, Kai Xu,
• Abstract要約: ハッシュ技術を用いて2次元マスクを統一した3次元インスタンスに持ち上げるための効率的な方法を提案する。 効率的な3次元シーンクエリにボクセルハッシュを用いることで、コストのかかる空間的重複クエリの時間的複雑さを低減できる。 提案手法は,オンラインでオープンな3Dインスタンスのセグメンテーションにおける最先端の性能と効率の向上を両立させる。
• 参考スコア（独自算出の注目度）: 36.9859733771263
• License:
• Abstract: Online 3D open-vocabulary segmentation of a progressively reconstructed scene is both a critical and challenging task for embodied applications. With the success of visual foundation models (VFMs) in the image domain, leveraging 2D priors to address 3D online segmentation has become a prominent research focus. Since segmentation results provided by 2D priors often require spatial consistency to be lifted into final 3D segmentation, an efficient method for identifying spatial overlap among 2D masks is essential - yet existing methods rarely achieve this in real time, mainly limiting its use to offline approaches. To address this, we propose an efficient method that lifts 2D masks generated by VFMs into a unified 3D instance using a hashing technique. By employing voxel hashing for efficient 3D scene querying, our approach reduces the time complexity of costly spatial overlap queries from $O(n^2)$ to $O(n)$. Accurate spatial associations further enable 3D merging of 2D masks through simple similarity-based filtering in a zero-shot manner, making our approach more robust to incomplete and noisy data. Evaluated on the ScanNet and SceneNN benchmarks, our approach achieves state-of-the-art performance in online, open-vocabulary 3D instance segmentation with leading efficiency.
• Abstract（参考訳）: プログレッシブに再構成されたシーンのオンライン3Dオープン語彙セグメンテーションは、エンボディドアプリケーションにとって、重要かつ困難なタスクである。 画像領域における視覚基礎モデル(VFM)の成功により、3Dオンラインセグメンテーションに対処する2D事前利用が注目されている。 2次元マスク間の空間的重なりを識別する効率的な手法が不可欠であるが、既存の手法では、主にオフラインアプローチに限定して、これをリアルタイムで実現することは稀である。 そこで本研究では,VFMによって生成された2Dマスクを,ハッシュ技術を用いて統一された3Dインスタンスに引き上げる効率的な手法を提案する。 効率的な3次元シーンクエリにボクセルハッシュを用いることで,コストのかかる空間オーバーラップクエリの時間的複雑さを$O(n^2)$から$O(n)$に削減する。 正確な空間関連付けにより、単純な類似性に基づくフィルタリングをゼロショットで行うことで、2次元マスクの3次元マージが可能となり、不完全でノイズの多いデータに対してより堅牢になる。 ScanNetとSceneNNのベンチマークから評価し、オンラインのオープンな3Dインスタンスのセグメンテーションにおける最先端のパフォーマンスを効率良く達成する。

関連論文リスト

• Any3DIS: Class-Agnostic 3D Instance Segmentation by 2D Mask Tracking [6.599971425078935]
  既存の3Dインスタンスセグメンテーションメソッドは、オーバーセグメンテーションの問題に頻繁に遭遇し、下流タスクを複雑にする冗長で不正確な3D提案につながります。 この課題は、フレーム全体に密集した2Dマスクを点雲に上げ、直接の監督なしに3D候補の提案を形成する、教師なしのマージンアプローチから生じる。 本研究では,2次元マスクセグメンテーション・トラッキング基盤モデル(SAM-2)を用いて,映像フレーム間の一貫したオブジェクトマスクを確保する3次元マスク追跡モジュールを提案する。
  論文  参考訳（メタデータ） (2024-11-25T08:26:31Z)
• XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation [72.12250272218792]
  本稿では,3次元特徴量と2次元テキスト埋め込み空間とのより精巧なマスクレベルのアライメントを,クロスモーダルマスク推論フレームワークであるXMask3Dを用いて提案する。 我々は、3Dグローバルな特徴を暗黙の条件として、事前訓練された2D denoising UNetに統合し、セグメンテーションマスクの生成を可能にする。 生成した2Dマスクを用いて、マスクレベルの3D表現を視覚言語の特徴空間と整合させ、3D幾何埋め込みの開語彙能力を増大させる。
  論文  参考訳（メタデータ） (2024-11-20T12:02:12Z)
• EmbodiedSAM: Online Segment Any 3D Thing in Real Time [61.2321497708998]
  身体的なタスクは、エージェントが探索と同時に3Dシーンを完全に理解する必要がある。 オンライン、リアルタイム、微粒化、高度に一般化された3D知覚モデルは、必死に必要である。
  論文  参考訳（メタデータ） (2024-08-21T17:57:06Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud Pre-training [65.75399500494343]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 自己監督型3次元点雲事前学習のための2D-3DジョイントMAEフレームワークであるJoint-MAEを提案する。
  論文  参考訳（メタデータ） (2023-02-27T17:56:18Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)
• 3D Guided Weakly Supervised Semantic Segmentation [27.269847900950943]
  本稿では,スパース境界ボックスラベルを利用可能な3次元情報に組み込むことにより,弱教師付き2次元セマンティックセマンティックセマンティックセマンティクスモデルを提案する。 手動で2D-3Dセマンティックス(2D-3D-S)データセットのサブセットにバウンディングボックスをラベル付けし、2D-3D推論モジュールを導入し、正確なピクセルワイドセグメント提案マスクを生成する。
  論文  参考訳（メタデータ） (2020-12-01T03:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。