論文の概要: ${M^2D}$NeRF: Multi-Modal Decomposition NeRF with 3D Feature Fields

• arxiv url: http://arxiv.org/abs/2405.05010v1
• Date: Wed, 8 May 2024 12:25:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 14:35:00.663291
• Title: ${M^2D}$NeRF: Multi-Modal Decomposition NeRF with 3D Feature Fields
• Title（参考訳）: ${M^2D}$NeRF:3次元特徴場を持つ多モード分解NeRF
• Authors: Ning Wang, Lefei Zhang, Angel X Chang,
• Abstract要約: テキストベースと視覚パッチベースの編集が可能な単一モデルであるM2D$NeRF(M2D$NeRF)を提案する。 具体的には,教師の特徴を事前学習した視覚モデルと言語モデルから3次元意味的特徴量へ統合するために,マルチモーダルな特徴蒸留を用いる。 実世界の様々な場面における実験は,従来のNeRF法と比較して3次元シーン分解作業において優れた性能を示した。
• 参考スコア（独自算出の注目度）: 33.168225243348786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural fields (NeRF) have emerged as a promising approach for representing continuous 3D scenes. Nevertheless, the lack of semantic encoding in NeRFs poses a significant challenge for scene decomposition. To address this challenge, we present a single model, Multi-Modal Decomposition NeRF (${M^2D}$NeRF), that is capable of both text-based and visual patch-based edits. Specifically, we use multi-modal feature distillation to integrate teacher features from pretrained visual and language models into 3D semantic feature volumes, thereby facilitating consistent 3D editing. To enforce consistency between the visual and language features in our 3D feature volumes, we introduce a multi-modal similarity constraint. We also introduce a patch-based joint contrastive loss that helps to encourage object-regions to coalesce in the 3D feature space, resulting in more precise boundaries. Experiments on various real-world scenes show superior performance in 3D scene decomposition tasks compared to prior NeRF-based methods.
• Abstract（参考訳）: 連続した3Dシーンを表現するための有望なアプローチとして、ニューラルフィールド(NeRF)が登場した。 それでも、NeRFにおけるセマンティックエンコーディングの欠如は、シーン分解に重大な課題をもたらす。 この課題に対処するために,テキストベースと視覚パッチベースの編集が可能な単一モデルであるMulti-Modal Decomposition NeRF({M^2D}$NeRF)を提案する。 具体的には,教師の特徴を事前学習した視覚モデルや言語モデルから3Dのセマンティックな特徴量へ統合し,一貫した3D編集を容易にするためにマルチモーダルな特徴蒸留を用いる。 3次元特徴量における視覚的特徴と言語的特徴の整合性を確保するために,多モード類似性制約を導入する。 また、パッチベースのジョイントコントラスト損失を導入し、オブジェクト領域が3次元特徴空間に合体するように促すことで、より正確なバウンダリが得られるようにします。 実世界の様々な場面における実験は,従来のNeRF法と比較して3次元シーン分解作業において優れた性能を示した。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
  ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。 3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。 この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:46:30Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D Scene Layout [13.364394556439992]
  テキストから3Dの形式は、AR/VRのための編集可能な3Dシーンを作成する上で重要な役割を果たす。 最近の進歩は、テキストから3Dオブジェクト生成のための事前訓練された拡散モデルとニューラルラジアンス場(NeRF)を融合させる可能性を示している。 編集可能な3Dシーンレイアウトとオブジェクト固有およびシーンワイドガイダンス機構を統合することで,CompoNeRFと呼ばれる新しいフレームワークを提案する。 本フレームワークは,マルチビューCLIPスコア測定によって最大54%の改善を実現している。
  論文  参考訳（メタデータ） (2023-03-24T07:37:09Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations [92.88108411154255]
  本稿では,3次元シーンとして再構成可能な複数画像の解析に後者を適用する際に,高密度な2次元画像特徴抽出器を改善する手法を提案する。 本手法は,手動ラベルを使わずに,シーン固有のニューラルネットワークの文脈における意味理解を可能にするだけでなく,自己監督型2Dベースラインよりも一貫して改善されていることを示す。
  論文  参考訳（メタデータ） (2022-09-07T23:24:09Z)
• Decomposing NeRF for Editing via Feature Field Distillation [14.628761232614762]
  NeRFで表現されるシーンの編集は、基礎となるコネクショナリスト表現がオブジェクト指向や構成的ではないため、難しい。 本研究では,NeRFのセマンティックなシーン分解の問題に対処し,クエリに基づく局所的な編集を可能にする。 本稿では,市販の自己監督型2次元画像特徴抽出器の知識を,放射場と平行に最適化された3次元特徴場に抽出することを提案する。
  論文  参考訳（メタデータ） (2022-05-31T07:56:09Z)
• 3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
  生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。 近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。 本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
  論文  参考訳（メタデータ） (2021-12-20T18:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。