論文の概要: Fast and Efficient: Mask Neural Fields for 3D Scene Segmentation

• arxiv url: http://arxiv.org/abs/2407.01220v2
• Date: Mon, 25 Nov 2024 03:15:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:15:30.193880
• Title: Fast and Efficient: Mask Neural Fields for 3D Scene Segmentation
• Title（参考訳）: 高速かつ効率的な3次元シーンセグメンテーションのためのマスクニューラルネットワーク
• Authors: Zihan Gao, Lingling Li, Licheng Jiao, Fang Liu, Xu Liu, Wenping Ma, Yuwei Guo, Shuyuan Yang,
• Abstract要約: 本稿では,新しい視点から3次元オープン語彙セグメンテーションを実現するMaskFieldを提案する。 MaskFieldは、マスクの特徴フィールドとクエリを定式化することによって、基礎モデルからマスクと意味的特徴の蒸留を分解する。 実験の結果,MaskFieldは従来の最先端手法を超越するだけでなく,極めて高速な収束を実現することがわかった。
• 参考スコア（独自算出の注目度）: 47.08813064337934
• License:
• Abstract: Understanding 3D scenes is a crucial challenge in computer vision research with applications spanning multiple domains. Recent advancements in distilling 2D vision-language foundation models into neural fields, like NeRF and 3DGS, enable open-vocabulary segmentation of 3D scenes from 2D multi-view images without the need for precise 3D annotations. However, while effective, these methods typically rely on the per-pixel distillation of high-dimensional CLIP features, introducing ambiguity and necessitating complex regularization strategies, which adds inefficiency during training. This paper presents MaskField, which enables efficient 3D open-vocabulary segmentation with neural fields from a novel perspective. Unlike previous methods, MaskField decomposes the distillation of mask and semantic features from foundation models by formulating a mask feature field and queries. MaskField overcomes ambiguous object boundaries by naturally introducing SAM segmented object shapes without extra regularization during training. By circumventing the direct handling of dense high-dimensional CLIP features during training, MaskField is particularly compatible with explicit scene representations like 3DGS. Our extensive experiments show that MaskField not only surpasses prior state-of-the-art methods but also achieves remarkably fast convergence. We hope that MaskField will inspire further exploration into how neural fields can be trained to comprehend 3D scenes from 2D models.
• Abstract（参考訳）: 3Dシーンを理解することは、複数のドメインにまたがるアプリケーションによるコンピュータビジョン研究において重要な課題である。 NeRFや3DGSのような2D視覚言語基礎モデルをニューラルネットワークに蒸留する最近の進歩は、正確な3Dアノテーションを必要とせずに、2Dの多視点画像から3Dシーンをオープンな語彙で分割することを可能にする。 しかしながら、これらの手法は一般的に高次元CLIPの特徴をピクセル当たりの蒸留に頼り、曖昧さを導入し、複雑な正規化戦略を必要とする。 本稿では,新しい視点から3次元オープン語彙セグメンテーションを実現するMaskFieldを提案する。 従来の方法とは異なり、MaskFieldはマスクの特徴フィールドとクエリを定式化することによって、基礎モデルからマスクと意味的特徴の蒸留を分解する。 MaskFieldは、トレーニング中に余分な正規化なしでSAMセグメント化されたオブジェクト形状を自然に導入することで、あいまいなオブジェクト境界を克服する。 トレーニング中に高次元のCLIP機能の直接的なハンドリングを回避することで、MaskFieldは特に3DGSのような明示的なシーン表現と互換性がある。 我々の広範な実験は、MaskFieldが従来の最先端の手法を超えるだけでなく、驚くほど高速な収束を実現することを示している。 MaskFieldが2Dモデルから3Dのシーンを理解するために、ニューラルネットワークをどのように訓練するかを、さらに探求することを期待している。

関連論文リスト

• XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation [72.12250272218792]
  本稿では,3次元特徴量と2次元テキスト埋め込み空間とのより精巧なマスクレベルのアライメントを,クロスモーダルマスク推論フレームワークであるXMask3Dを用いて提案する。 我々は、3Dグローバルな特徴を暗黙の条件として、事前訓練された2D denoising UNetに統合し、セグメンテーションマスクの生成を可能にする。 生成した2Dマスクを用いて、マスクレベルの3D表現を視覚言語の特徴空間と整合させ、3D幾何埋め込みの開語彙能力を増大させる。
  論文  参考訳（メタデータ） (2024-11-20T12:02:12Z)
• Triple Point Masking [49.39218611030084]
  既存の3Dマスク学習手法は、限られたデータの下でパフォーマンスボトルネックに遭遇する。 我々は、マスク付きオートエンコーダの事前学習のためのスケーラブルなフレームワークとして、TPMと呼ばれるトリプルポイントマスキング方式を導入する。 大規模な実験により,提案したTPMを組み込んだ4つのベースラインが,下流タスクの総合的な性能向上を実現することが示された。
  論文  参考訳（メタデータ） (2024-09-26T05:33:30Z)
• EmbodiedSAM: Online Segment Any 3D Thing in Real Time [61.2321497708998]
  身体的なタスクは、エージェントが探索と同時に3Dシーンを完全に理解する必要がある。 オンライン、リアルタイム、微粒化、高度に一般化された3D知覚モデルは、必死に必要である。
  論文  参考訳（メタデータ） (2024-08-21T17:57:06Z)
• DiscoNeRF: Class-Agnostic Object Field for 3D Object Discovery [46.711276257688326]
  NeRFは複数の画像から3Dシーンをモデリングするための強力なツールになっている。 以前のNeRFの3Dセグメンテーションへのアプローチは、単一のオブジェクトを分離するためにユーザーインタラクションを必要とするか、あるいは監督のために限られた数のクラスを持つ2Dセマンティックマスクに依存している。 本稿では,一貫性のないセグメンテーションに頑健な手法を提案し,シーンを任意のクラスのオブジェクトの集合に分解することに成功した。
  論文  参考訳（メタデータ） (2024-08-19T12:07:24Z)
• Efficient 3D Instance Mapping and Localization with Neural Fields [39.73128916618561]
  本稿では,RGB画像の列から3次元インスタンスセグメンテーションの暗黙的なシーン表現を学習する問題に取り組む。 本稿では,新しい視点から3Dインスタンスセグメンテーションマスクを描画するニューラルラベルフィールドを効率的に学習する新しいフレームワークである3DIMLを紹介する。
  論文  参考訳（メタデータ） (2024-03-28T19:25:25Z)
• Self-supervised Pre-training with Masked Shape Prediction for 3D Scene Understanding [106.0876425365599]
  Masked Shape Prediction (MSP)は、3Dシーンでマスクされた信号モデリングを行うための新しいフレームワークである。 MSPは3Dセマンティックキュー、すなわち幾何学的形状をマスクされた点の予測ターゲットとして使用する。
  論文  参考訳（メタデータ） (2023-05-08T20:09:19Z)
• MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
  本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。 本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。 マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
  論文  参考訳（メタデータ） (2022-12-20T01:53:40Z)
• Panoptic Lifting for 3D Scene Understanding with Neural Fields [32.59498558663363]
  そこで本研究では,撮影シーンの画像からパノプティカル3D表現を学習するための新しい手法を提案する。 本手法では,事前学習ネットワークから推定される2次元空間分割マスクのみを必要とする。 実験結果は、Hypersim、Replica、ScanNetデータセットに挑戦するアプローチを検証する。
  論文  参考訳（メタデータ） (2022-12-19T19:15:36Z)
• Semantic Implicit Neural Scene Representations With Semi-Supervised Training [47.61092265963234]
  その結果,暗黙的なシーン表現がポイントごとのセマンティックセマンティックセグメンテーションに活用できることが示唆された。 我々の手法は単純で汎用的で、数個のラベル付き2Dセグメンテーションマスクしか必要としない。 意味的に認識された暗黙的なニューラルシーン表現のための2つの新しい応用を探索する。
  論文  参考訳（メタデータ） (2020-03-28T00:43:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。