論文の概要: ClusteringSDF: Self-Organized Neural Implicit Surfaces for 3D Decomposition

• arxiv url: http://arxiv.org/abs/2403.14619v1
• Date: Thu, 21 Mar 2024 17:59:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 13:00:31.964720
• Title: ClusteringSDF: Self-Organized Neural Implicit Surfaces for 3D Decomposition
• Title（参考訳）: ClusteringSDF: 3次元分解のための自己組織化ニューラルインシシデント表面
• Authors: Tianhao Wu, Chuanxia Zheng, Tat-Jen Cham, Qianyi Wu,
• Abstract要約: ClusteringSDFは、ニューラルな暗黙の表面表現を通して3次元のセグメンテーションと再構成を実現するための新しいアプローチである。 ScanNetとReplicaのデータセットから得られた挑戦的なシーンにおける実験結果から,ClusteringSDFが競争力を発揮することを示す。
• 参考スコア（独自算出の注目度）: 32.99080359375706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D decomposition/segmentation still remains a challenge as large-scale 3D annotated data is not readily available. Contemporary approaches typically leverage 2D machine-generated segments, integrating them for 3D consistency. While the majority of these methods are based on NeRFs, they face a potential weakness that the instance/semantic embedding features derive from independent MLPs, thus preventing the segmentation network from learning the geometric details of the objects directly through radiance and density. In this paper, we propose ClusteringSDF, a novel approach to achieve both segmentation and reconstruction in 3D via the neural implicit surface representation, specifically Signal Distance Function (SDF), where the segmentation rendering is directly integrated with the volume rendering of neural implicit surfaces. Although based on ObjectSDF++, ClusteringSDF no longer requires the ground-truth segments for supervision while maintaining the capability of reconstructing individual object surfaces, but purely with the noisy and inconsistent labels from pre-trained models.As the core of ClusteringSDF, we introduce a high-efficient clustering mechanism for lifting the 2D labels to 3D and the experimental results on the challenging scenes from ScanNet and Replica datasets show that ClusteringSDF can achieve competitive performance compared against the state-of-the-art with significantly reduced training time.
• Abstract（参考訳）: 3Dの分解/分離は、大規模な3Dアノテーション付きデータがすぐに利用できないため、依然として課題である。 現代のアプローチは一般的に2Dマシン生成セグメントを利用し、3D一貫性のためにそれらを統合している。 これらの手法の大部分はNeRFに基づいているが、独立なMLPに由来するインスタンス/セマンティック埋め込みの特徴が潜在的な弱点に直面しているため、分割ネットワークは放射率と密度を直接的に物体の幾何学的詳細を学ぶのを妨げている。 本稿では,ニューラルな暗示表面表現,特に信号距離関数(SDF)を用いて3次元のセグメンテーションと再構成を両立させる新しい手法であるClusteringSDFを提案し,そのセグメンテーションレンダリングをニューラルな暗示表面のボリュームレンダリングと直接統合する。 ObjectSDF++をベースとしたClusteringSDFは,個々のオブジェクト表面を再構築する能力を維持しつつ,監視のための基盤的トラストセグメントをもはや必要とせず,純粋に事前訓練されたモデルからのノイズや不整合性のあるラベルと併用する。ClusteringSDFのコアとして,2Dラベルを3Dに持ち上げるための高効率なクラスタリング機構を導入し,ScanNetとReplicaデータセットによる挑戦的なシーンにおける実験結果から,ClusteringSDFは,トレーニング時間を大幅に短縮した現状と比較して,競争的なパフォーマンスを実現することができることを示す。

関連論文リスト

• VortSDF: 3D Modeling with Centroidal Voronoi Tesselation on Signed Distance Field [5.573454319150408]
  四面体グリッド上での3次元形状特性を推定するために,明示的なSDFフィールドと浅いカラーネットワークを組み合わせた体積最適化フレームワークを提案する。 Chamfer統計による実験結果は、オブジェクト、オープンシーン、人間などの様々なシナリオにおいて、前例のない復元品質でこのアプローチを検証する。
  論文  参考訳（メタデータ） (2024-07-29T09:46:39Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [62.663113296987085]
  クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。 既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-12-28T14:52:07Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)
• Sparse Cross-scale Attention Network for Efficient LiDAR Panoptic Segmentation [12.61753274984776]
  マルチスケールのスパース機能とグローバルなボクセル符号化されたアテンションを整合させて、インスタンスコンテキストの長距離関係をキャプチャする、新しいスパース・クロススケールアテンション・ネットワークであるSCANを提案する。 表面凝集点に対して、SCANは、整列した特徴の空間性を維持するだけでなく、スパース畳み込みによってネットワークの量を減少させる、新しいスパースクラス非依存のインスタンスセントロイド表現を採用する。
  論文  参考訳（メタデータ） (2022-01-16T05:34:54Z)
• Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception [122.53774221136193]
  運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。 自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。 本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-12T06:25:11Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)
• Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
  モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。 従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。 我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。 これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
  論文  参考訳（メタデータ） (2020-08-31T17:10:48Z)
• Generative Sparse Detection Networks for 3D Single-shot Object Detection [43.91336826079574]
  3Dオブジェクト検出は、ロボット工学や拡張現実など多くの有望な分野に適用可能であるため、広く研究されている。 しかし、3Dデータのまばらな性質は、このタスクに固有の課題をもたらしている。 本稿では,完全畳み込み単一ショットスパース検出ネットワークであるGenerative Sparse Detection Network (GSDN)を提案する。
  論文  参考訳（メタデータ） (2020-06-22T15:54:24Z)
• Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point Clouds of Wild Scenes [36.07733308424772]
  3Dセグメンテーションラベルの欠如は、効率的な点雲セグメンテーションの主な障害の1つである。 本稿では,2D のみを監督する点群における大規模セマンティックシーンセグメンテーションのための,新しいディープグラフ畳み込みネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T23:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。