論文の概要: CLNeRF: Continual Learning Meets NeRF
- arxiv url: http://arxiv.org/abs/2308.14816v1
- Date: Mon, 28 Aug 2023 18:09:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 17:08:15.659792
- Title: CLNeRF: Continual Learning Meets NeRF
- Title(参考訳): CLNeRF: 継続的に学習するNeRF
- Authors: Zhipeng Cai and Matthias Mueller
- Abstract要約: 現実的な応用では、シーンのカバレッジ、外観、形状は時間とともに変化する可能性がある。
我々は、時間とともに外観や幾何学が変化するシーンからなる新しいデータセット World Across Time (WAT) を提案する。
また、ニューラルネットワーク場(NeRF)に連続学習を導入する、単純で効果的なCLNeRFを提案する。
- 参考スコア(独自算出の注目度): 6.385496313569059
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Novel view synthesis aims to render unseen views given a set of calibrated
images. In practical applications, the coverage, appearance or geometry of the
scene may change over time, with new images continuously being captured.
Efficiently incorporating such continuous change is an open challenge. Standard
NeRF benchmarks only involve scene coverage expansion. To study other practical
scene changes, we propose a new dataset, World Across Time (WAT), consisting of
scenes that change in appearance and geometry over time. We also propose a
simple yet effective method, CLNeRF, which introduces continual learning (CL)
to Neural Radiance Fields (NeRFs). CLNeRF combines generative replay and the
Instant Neural Graphics Primitives (NGP) architecture to effectively prevent
catastrophic forgetting and efficiently update the model when new data arrives.
We also add trainable appearance and geometry embeddings to NGP, allowing a
single compact model to handle complex scene changes. Without the need to store
historical images, CLNeRF trained sequentially over multiple scans of a
changing scene performs on-par with the upper bound model trained on all scans
at once. Compared to other CL baselines CLNeRF performs much better across
standard benchmarks and WAT. The source code, and the WAT dataset are available
at https://github.com/IntelLabs/CLNeRF. Video presentation is available at:
https://youtu.be/nLRt6OoDGq0?si=8yD6k-8MMBJInQPs
- Abstract(参考訳): 新たなビュー合成は、キャリブレーションされた画像の集合から見知らぬビューを描画することを目的としている。
実用的な用途では、シーンのカバレッジ、外観、形状が時間とともに変化し、新しいイメージが連続的にキャプチャされる。
このような継続的変化を効果的に取り入れることはオープンな課題です。
標準的なNeRFベンチマークはシーンカバレッジの拡張のみを含む。
その他の現実的な場面の変化を研究するために,時間とともに外観や形状が変化するシーンからなる新しいデータセット World Across Time (WAT) を提案する。
また,ニューラルネットワーク場(NeRF)に連続学習(CL)を導入する,単純で効果的なCLNeRFを提案する。
CLNeRFは生成的リプレイとInstant Neural Graphics Primitives (NGP)アーキテクチャを組み合わせることで、破滅的な忘れ込みを効果的に防止し、新しいデータが到着した時にモデルを効率的に更新する。
また、トレーニング可能な外観と幾何埋め込みをngpに追加し、単一のコンパクトモデルで複雑なシーン変更を処理できるようにしました。
歴史的なイメージを保存する必要がないclnerfは、シーンの変更を複数のスキャンで順次トレーニングし、すべてのスキャンで上界モデルと並行して実行する。
他のCLベースラインと比べて、CLNeRFは標準ベンチマークやWATよりもはるかにパフォーマンスが良い。
ソースコードとWATデータセットはhttps://github.com/IntelLabs/CLNeRFで公開されている。
ビデオプレゼンテーションは、https://youtu.be/nLRt6OoDGq0?
si=8yD6k-8MMBJInQPs
関連論文リスト
- Re-Nerfing: Enforcing Geometric Constraints on Neural Radiance Fields
through Novel Views Synthesis [91.68255013336055]
Re-Nerfingは、NeRFのビュー合成を利用して制限に対処する、シンプルで一般的なマルチステージアプローチである。
すべてのビューでトレーニングしても、Re-Nerfingは最先端のZip-NeRFに改善をもたらすことを示す。
論文 参考訳(メタデータ) (2023-12-04T18:56:08Z) - ZeST-NeRF: Using temporal aggregation for Zero-Shot Temporal NeRFs [18.338949996255664]
本稿では,新たなシーンに時間的NeRFを生成できるZeST-NeRFを提案する。
我々は,様々な分野からの最先端のアプローチが,この新たな課題を適切に解決できないことを実証し,本ソリューションの有効性を実証する。
論文 参考訳(メタデータ) (2023-11-30T12:06:15Z) - 3D Reconstruction with Generalizable Neural Fields using Scene Priors [71.37871576124789]
シーンプライオリティ(NFP)を取り入れたトレーニング一般化型ニューラルフィールドを提案する。
NFPネットワークは、任意のシングルビューRGB-D画像を符号付き距離と放射値にマッピングする。
融合モジュールを外した体積空間内の個々のフレームをマージすることにより、完全なシーンを再構築することができる。
論文 参考訳(メタデータ) (2023-09-26T18:01:02Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳(メタデータ) (2022-04-22T03:17:35Z) - SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single
Image [85.43496313628943]
本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。
SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。
NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2022-04-02T19:32:42Z) - Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual
Fly-Throughs [54.41204057689033]
我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。
NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。
我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
論文 参考訳(メタデータ) (2021-12-20T17:40:48Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳(メタデータ) (2020-12-10T18:36:40Z) - pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。
本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。
いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
論文 参考訳(メタデータ) (2020-12-03T18:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。