論文の概要: Incremental Multi-Scene Modeling via Continual Neural Graphics Primitives

• arxiv url: http://arxiv.org/abs/2411.19903v2
• Date: Sat, 08 Mar 2025 23:06:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:43:10.257105
• Title: Incremental Multi-Scene Modeling via Continual Neural Graphics Primitives
• Title（参考訳）: 連続型ニューラルネットワークプリミティブによるインクリメンタルマルチシーンモデリング
• Authors: Prajwal Singh, Ashish Tiwari, Gautam Vashishtha, Shanmuganathan Raman,
• Abstract要約: 連続ニューラルネットワークプリミティブ(Continuous-Neural Graphics Primitives, C-NGP)は,複数のシーンを段階的に1つの神経放射場に統合する,新しい連続学習フレームワークである。 C-NGPはパラメータ数を増やさずに複数のシーンに対応でき、合成および実際のデータセット上で高品質のノベルビューレンダリングを生成する。
• 参考スコア（独自算出の注目度）: 17.411855207380256
• License:
• Abstract: Neural radiance fields (NeRF) have revolutionized photorealistic rendering of novel views for 3D scenes. Despite their growing popularity and efficiency as 3D resources, NeRFs face scalability challenges due to the need for separate models per scene and the cumulative increase in training time for multiple scenes. The potential for incrementally encoding multiple 3D scenes into a single NeRF model remains largely unexplored. To address this, we introduce Continual-Neural Graphics Primitives (C-NGP), a novel continual learning framework that integrates multiple scenes incrementally into a single neural radiance field. Using a generative replay approach, C-NGP adapts to new scenes without requiring access to old data. We demonstrate that C-NGP can accommodate multiple scenes without increasing the parameter count, producing high-quality novel-view renderings on synthetic and real datasets. Notably, C-NGP models all 8 scenes from the Real-LLFF dataset together, with only a 2.2% drop in PSNR compared to vanilla NeRF, which models each scene independently. Further, C-NGP allows multiple style edits in the same network. The implementation details and dynamic visualizations are in the supplementary material.
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は、3Dシーンのための新しいビューのフォトリアリスティックレンダリングに革命をもたらした。 3Dリソースとしての人気と効率性の高まりにもかかわらず、NeRFはシーン毎に別々のモデルが必要であり、複数のシーンのトレーニング時間が累積的に増加するため、スケーラビリティの課題に直面している。 複数の3Dシーンを1つのNeRFモデルにインクリメンタルに符号化する可能性については、まだ明らかにされていない。 そこで我々は,複数のシーンを段階的に1つの神経放射場に統合する新しい連続学習フレームワークであるContinuous-Neural Graphics Primitives (C-NGP)を紹介した。 生成的再生アプローチを使用することで、C-NGPは古いデータにアクセスすることなく新しいシーンに適応する。 我々は、C-NGPがパラメータ数を増やすことなく複数のシーンに対応できることを示し、合成および実データに対する高品質なノベルビューレンダリングを生成する。 特に、C-NGPはReal-LLFFデータセットから8つのシーン全てをモデル化し、各シーンを個別にモデル化するバニラNeRFと比較してPSNRはわずか2.2%減少している。 さらに、C-NGPは同一ネットワークで複数のスタイルの編集を可能にする。 実装の詳細と動的可視化は補足資料にある。

関連論文リスト

• Content-Aware Radiance Fields: Aligning Model Complexity with Scene Intricacy Through Learned Bitwidth Quantization [30.707317084452594]
  ラディアンスフィールドモデルは、各シーンのトレーニングモデルによって、3Dコンテンツを表現するように設計されています。 このシーン表現とシーンごとのトレーニングのユニークな特徴は、他のニューラルモデルと放射場モデルを区別する。 我々は、A-CAQ(Adversarial Content-Aware Quantization)を通して、シーンの複雑さとシーンの複雑度を整合する認識放射場を提案する。
  論文  参考訳（メタデータ） (2024-10-25T11:39:55Z)
• SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields [9.606992888590757]
  我々は,多層パーセプトロンを用いてシーンの密度と放射場を暗黙の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。 本研究では, 既往のシーンの放射界知識を新しいモデルに転送するための, 不確実な表面知識蒸留戦略を提案する。 実験の結果,提案手法はNeRF-Synthetic, LLFF, TanksAndTemplesデータセット上での連続学習NeRFの最先端のレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2024-09-06T03:36:12Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames in Autonomous Driving Environments [3.1969023045814753]
  親子ニューラルレイディアンス場(PC-NeRF)と呼ばれる3次元シーン再構成と新しいビュー合成フレームワークを提案する。 PC-NeRFは、シーン、セグメント、ポイントレベルを含む階層的な空間分割とマルチレベルシーン表現を実装している。 広範にわたる実験により,PC-NeRFは大規模シーンにおける高精度なLiDARビュー合成と3次元再構成を実現することが証明された。
  論文  参考訳（メタデータ） (2024-02-14T17:16:39Z)
• 3D Reconstruction with Generalizable Neural Fields using Scene Priors [71.37871576124789]
  シーンプライオリティ(NFP)を取り入れたトレーニング一般化型ニューラルフィールドを提案する。 NFPネットワークは、任意のシングルビューRGB-D画像を符号付き距離と放射値にマッピングする。 融合モジュールを外した体積空間内の個々のフレームをマージすることにより、完全なシーンを再構築することができる。
  論文  参考訳（メタデータ） (2023-09-26T18:01:02Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• ActiveNeRF: Learning where to See with Uncertainty Estimation [36.209200774203005]
  近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。 本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
  論文  参考訳（メタデータ） (2022-09-18T12:09:15Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
  本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。 提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
  論文  参考訳（メタデータ） (2022-02-24T01:31:29Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。