論文の概要: $C^{3}$-NeRF: Modeling Multiple Scenes via Conditional-cum-Continual Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2411.19903v1
- Date: Fri, 29 Nov 2024 18:05:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:21:40.228526
- Title: $C^{3}$-NeRF: Modeling Multiple Scenes via Conditional-cum-Continual Neural Radiance Fields
- Title（参考訳）: C^{3}$-NeRF:条件付き累積ニューラルネットワークによる複数シーンのモデリング
- Authors: Prajwal Singh, Ashish Tiwari, Gautam Vashishtha, Shanmuganathan Raman,
- Abstract要約: 本稿では,1つの神経放射場のパラメータに複数のシーンを対応させる,C3$-NeRF(C3$-NeRF)と呼ばれる条件付き累進的フレームワークを提案する。
新たなパラメータを追加することなく、高品質なノベルビューレンダリングで複数のシーンに対応できるNeRFモデルの本質的能力を実証する。
- 参考スコア（独自算出の注目度）: 17.411855207380256
- License:
- Abstract: Neural radiance fields (NeRF) have exhibited highly photorealistic rendering of novel views through per-scene optimization over a single 3D scene. With the growing popularity of NeRF and its variants, they have become ubiquitous and have been identified as efficient 3D resources. However, they are still far from being scalable since a separate model needs to be stored for each scene, and the training time increases linearly with every newly added scene. Surprisingly, the idea of encoding multiple 3D scenes into a single NeRF model is heavily under-explored. In this work, we propose a novel conditional-cum-continual framework, called $C^{3}$-NeRF, to accommodate multiple scenes into the parameters of a single neural radiance field. Unlike conventional approaches that leverage feature extractors and pre-trained priors for scene conditioning, we use simple pseudo-scene labels to model multiple scenes in NeRF. Interestingly, we observe the framework is also inherently continual (via generative replay) with minimal, if not no, forgetting of the previously learned scenes. Consequently, the proposed framework adapts to multiple new scenes without necessarily accessing the old data. Through extensive qualitative and quantitative evaluation using synthetic and real datasets, we demonstrate the inherent capacity of the NeRF model to accommodate multiple scenes with high-quality novel-view renderings without adding additional parameters. We provide implementation details and dynamic visualizations of our results in the supplementary file.
- Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は,1つの3次元シーン上でのシーンごとの最適化により,新しいビューの高光写実性レンダリングを実現している。
NeRFとその変種の人気が高まり、それらはユビキタスになり、効率的な3Dリソースとして認識されるようになった。
しかし、別々のモデルを各シーンに格納する必要があるため、拡張性には程遠いため、新たなシーン毎にトレーニング時間が線形に増加する。
驚くべきことに、複数の3Dシーンを1つのNeRFモデルにエンコードするというアイデアは、非常に過小評価されている。
本研究では,1つのニューラルラディアンス場のパラメータに複数のシーンを対応させる,$C^{3}$-NeRFと呼ばれる新しい条件付き累進連続フレームワークを提案する。
シーンコンディショニングにおいて,特徴抽出器と事前学習した事前学習を利用する従来の手法とは異なり,単純な擬似シーンラベルを用いて複数のシーンをNeRFでモデル化する。
興味深いことに、このフレームワークは(生成的再生を通じて)本質的に連続的であり、たとえそうでなくても、以前に学習されたシーンを忘れてしまう。
その結果、提案するフレームワークは、古いデータに必ずしもアクセスすることなく、複数の新しいシーンに適応する。
合成および実データを用いた大規模定性的・定量的評価により,複数のシーンに高品質なノベルビューレンダリングを付加せずに対応できるNeRFモデルの本質的能力を示す。
補足ファイルに実装の詳細と結果の動的可視化を提供する。
関連論文リスト
- Content-Aware Radiance Fields: Aligning Model Complexity with Scene Intricacy Through Learned Bitwidth Quantization [30.707317084452594]
ラディアンスフィールドモデルは、各シーンのトレーニングモデルによって、3Dコンテンツを表現するように設計されています。
このシーン表現とシーンごとのトレーニングのユニークな特徴は、他のニューラルモデルと放射場モデルを区別する。
我々は、A-CAQ(Adversarial Content-Aware Quantization)を通して、シーンの複雑さとシーンの複雑度を整合する認識放射場を提案する。
論文 参考訳（メタデータ） (2024-10-25T11:39:55Z) - SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields [9.606992888590757]
我々は,多層パーセプトロンを用いてシーンの密度と放射場を暗黙の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。
本研究では, 既往のシーンの放射界知識を新しいモデルに転送するための, 不確実な表面知識蒸留戦略を提案する。
実験の結果,提案手法はNeRF-Synthetic, LLFF, TanksAndTemplesデータセット上での連続学習NeRFの最先端のレンダリング品質を実現する。
論文 参考訳（メタデータ） (2024-09-06T03:36:12Z) - DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames
in Autonomous Driving Environments [3.1969023045814753]
親子ニューラルレイディアンス場(PC-NeRF)と呼ばれる3次元シーン再構成と新しいビュー合成フレームワークを提案する。
PC-NeRFは、シーン、セグメント、ポイントレベルを含む階層的な空間分割とマルチレベルシーン表現を実装している。
広範にわたる実験により,PC-NeRFは大規模シーンにおける高精度なLiDARビュー合成と3次元再構成を実現することが証明された。
論文 参考訳（メタデータ） (2024-02-14T17:16:39Z) - 3D Reconstruction with Generalizable Neural Fields using Scene Priors [71.37871576124789]
シーンプライオリティ(NFP)を取り入れたトレーニング一般化型ニューラルフィールドを提案する。
NFPネットワークは、任意のシングルビューRGB-D画像を符号付き距離と放射値にマッピングする。
融合モジュールを外した体積空間内の個々のフレームをマージすることにより、完全なシーンを再構築することができる。
論文 参考訳（メタデータ） (2023-09-26T18:01:02Z) - AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware
Training [100.33713282611448]
我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。
本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。
私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
論文 参考訳（メタデータ） (2022-11-17T17:22:28Z) - ActiveNeRF: Learning where to See with Uncertainty Estimation [36.209200774203005]
近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。
本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
論文 参考訳（メタデータ） (2022-09-18T12:09:15Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳（メタデータ） (2022-09-02T17:44:50Z) - Control-NeRF: Editable Feature Volumes for Scene Rendering and
Manipulation [58.16911861917018]
高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。
モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。
我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
論文 参考訳（メタデータ） (2022-04-22T17:57:00Z) - Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。
NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。
提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
論文 参考訳（メタデータ） (2022-02-24T01:31:29Z) - pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。
本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。
いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
論文 参考訳（メタデータ） (2020-12-03T18:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。