論文の概要: Incremental Multi-Scene Modeling via Continual Neural Graphics Primitives

• arxiv url: http://arxiv.org/abs/2411.19903v2
• Date: Sat, 08 Mar 2025 23:06:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:43.857147
• Title: Incremental Multi-Scene Modeling via Continual Neural Graphics Primitives
• Title（参考訳）: 連続型ニューラルネットワークプリミティブによるインクリメンタルマルチシーンモデリング
• Authors: Prajwal Singh, Ashish Tiwari, Gautam Vashishtha, Shanmuganathan Raman,
• Abstract要約: 連続ニューラルネットワークプリミティブ(Continuous-Neural Graphics Primitives, C-NGP)は,複数のシーンを段階的に1つの神経放射場に統合する,新しい連続学習フレームワークである。 C-NGPはパラメータ数を増やさずに複数のシーンに対応でき、合成および実際のデータセット上で高品質のノベルビューレンダリングを生成する。
• 参考スコア（独自算出の注目度）: 17.411855207380256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural radiance fields (NeRF) have revolutionized photorealistic rendering of novel views for 3D scenes. Despite their growing popularity and efficiency as 3D resources, NeRFs face scalability challenges due to the need for separate models per scene and the cumulative increase in training time for multiple scenes. The potential for incrementally encoding multiple 3D scenes into a single NeRF model remains largely unexplored. To address this, we introduce Continual-Neural Graphics Primitives (C-NGP), a novel continual learning framework that integrates multiple scenes incrementally into a single neural radiance field. Using a generative replay approach, C-NGP adapts to new scenes without requiring access to old data. We demonstrate that C-NGP can accommodate multiple scenes without increasing the parameter count, producing high-quality novel-view renderings on synthetic and real datasets. Notably, C-NGP models all 8 scenes from the Real-LLFF dataset together, with only a 2.2% drop in PSNR compared to vanilla NeRF, which models each scene independently. Further, C-NGP allows multiple style edits in the same network. The implementation details and dynamic visualizations are in the supplementary material.
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は、3Dシーンのための新しいビューのフォトリアリスティックレンダリングに革命をもたらした。 3Dリソースとしての人気と効率性の高まりにもかかわらず、NeRFはシーン毎に別々のモデルが必要であり、複数のシーンのトレーニング時間が累積的に増加するため、スケーラビリティの課題に直面している。 複数の3Dシーンを1つのNeRFモデルにインクリメンタルに符号化する可能性については、まだ明らかにされていない。 そこで我々は,複数のシーンを段階的に1つの神経放射場に統合する新しい連続学習フレームワークであるContinuous-Neural Graphics Primitives (C-NGP)を紹介した。 生成的再生アプローチを使用することで、C-NGPは古いデータにアクセスすることなく新しいシーンに適応する。 我々は、C-NGPがパラメータ数を増やすことなく複数のシーンに対応できることを示し、合成および実データに対する高品質なノベルビューレンダリングを生成する。 特に、C-NGPはReal-LLFFデータセットから8つのシーン全てをモデル化し、各シーンを個別にモデル化するバニラNeRFと比較してPSNRはわずか2.2%減少している。 さらに、C-NGPは同一ネットワークで複数のスタイルの編集を可能にする。 実装の詳細と動的可視化は補足資料にある。

関連論文リスト

• Content-Aware Radiance Fields: Aligning Model Complexity with Scene Intricacy Through Learned Bitwidth Quantization [30.707317084452594]
  ラディアンスフィールドモデルは、各シーンのトレーニングモデルによって、3Dコンテンツを表現するように設計されています。 このシーン表現とシーンごとのトレーニングのユニークな特徴は、他のニューラルモデルと放射場モデルを区別する。 我々は、A-CAQ(Adversarial Content-Aware Quantization)を通して、シーンの複雑さとシーンの複雑度を整合する認識放射場を提案する。
  論文  参考訳（メタデータ） (2024-10-25T11:39:55Z)
• SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields [9.606992888590757]
  我々は,多層パーセプトロンを用いてシーンの密度と放射場を暗黙の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。 本研究では, 既往のシーンの放射界知識を新しいモデルに転送するための, 不確実な表面知識蒸留戦略を提案する。 実験の結果,提案手法はNeRF-Synthetic, LLFF, TanksAndTemplesデータセット上での連続学習NeRFの最先端のレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2024-09-06T03:36:12Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Leveraging Neural Radiance Field in Descriptor Synthesis for Keypoints Scene Coordinate Regression [1.2974519529978974]
  本稿では,Neural Radiance Field (NeRF) を用いたキーポイント記述子合成のためのパイプラインを提案する。 新たなポーズを生成してトレーニングされたNeRFモデルに入力して新しいビューを生成することで、当社のアプローチは、データスカース環境でのKSCRの機能を強化します。 提案システムは,最大50%のローカライズ精度向上を実現し,データ合成に要するコストをわずかに抑えることができた。
  論文  参考訳（メタデータ） (2024-03-15T13:40:37Z)
• PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames in Autonomous Driving Environments [3.1969023045814753]
  親子ニューラルレイディアンス場(PC-NeRF)と呼ばれる3次元シーン再構成と新しいビュー合成フレームワークを提案する。 PC-NeRFは、シーン、セグメント、ポイントレベルを含む階層的な空間分割とマルチレベルシーン表現を実装している。 広範にわたる実験により,PC-NeRFは大規模シーンにおける高精度なLiDARビュー合成と3次元再構成を実現することが証明された。
  論文  参考訳（メタデータ） (2024-02-14T17:16:39Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• 3D Reconstruction with Generalizable Neural Fields using Scene Priors [71.37871576124789]
  シーンプライオリティ(NFP)を取り入れたトレーニング一般化型ニューラルフィールドを提案する。 NFPネットワークは、任意のシングルビューRGB-D画像を符号付き距離と放射値にマッピングする。 融合モジュールを外した体積空間内の個々のフレームをマージすることにより、完全なシーンを再構築することができる。
  論文  参考訳（メタデータ） (2023-09-26T18:01:02Z)
• NeuralField-LDM: Scene Generation with Hierarchical Latent Diffusion Models [85.20004959780132]
  複雑な3D環境を合成できる生成モデルであるNeuralField-LDMを紹介する。 NeuralField-LDMは,条件付きシーン生成,シーンインペインティング,シーンスタイル操作など,さまざまな3Dコンテンツ作成アプリケーションに利用できることを示す。
  論文  参考訳（メタデータ） (2023-04-19T16:13:21Z)
• ActiveNeRF: Learning where to See with Uncertainty Estimation [36.209200774203005]
  近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。 本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
  論文  参考訳（メタデータ） (2022-09-18T12:09:15Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
  本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。 実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:13:54Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
  本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。 提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
  論文  参考訳（メタデータ） (2022-02-24T01:31:29Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。