Fugu-MT 論文翻訳(概要): CLNeRF: Continual Learning Meets NeRF

論文の概要: CLNeRF: Continual Learning Meets NeRF

arxiv url: http://arxiv.org/abs/2308.14816v1
Date: Mon, 28 Aug 2023 18:09:13 GMT
ステータス: 処理完了
システム内更新日: 2023-08-30 17:08:15.659792
Title: CLNeRF: Continual Learning Meets NeRF
Title（参考訳）: CLNeRF: 継続的に学習するNeRF
Authors: Zhipeng Cai and Matthias Mueller
Abstract要約: 現実的な応用では、シーンのカバレッジ、外観、形状は時間とともに変化する可能性がある。我々は、時間とともに外観や幾何学が変化するシーンからなる新しいデータセット World Across Time (WAT) を提案する。また、ニューラルネットワーク場(NeRF)に連続学習を導入する、単純で効果的なCLNeRFを提案する。
参考スコア（独自算出の注目度）: 6.385496313569059
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Novel view synthesis aims to render unseen views given a set of calibrated images. In practical applications, the coverage, appearance or geometry of the scene may change over time, with new images continuously being captured. Efficiently incorporating such continuous change is an open challenge. Standard NeRF benchmarks only involve scene coverage expansion. To study other practical scene changes, we propose a new dataset, World Across Time (WAT), consisting of scenes that change in appearance and geometry over time. We also propose a simple yet effective method, CLNeRF, which introduces continual learning (CL) to Neural Radiance Fields (NeRFs). CLNeRF combines generative replay and the Instant Neural Graphics Primitives (NGP) architecture to effectively prevent catastrophic forgetting and efficiently update the model when new data arrives. We also add trainable appearance and geometry embeddings to NGP, allowing a single compact model to handle complex scene changes. Without the need to store historical images, CLNeRF trained sequentially over multiple scans of a changing scene performs on-par with the upper bound model trained on all scans at once. Compared to other CL baselines CLNeRF performs much better across standard benchmarks and WAT. The source code, and the WAT dataset are available at https://github.com/IntelLabs/CLNeRF. Video presentation is available at: https://youtu.be/nLRt6OoDGq0?si=8yD6k-8MMBJInQPs
Abstract（参考訳）: 新たなビュー合成は、キャリブレーションされた画像の集合から見知らぬビューを描画することを目的としている。実用的な用途では、シーンのカバレッジ、外観、形状が時間とともに変化し、新しいイメージが連続的にキャプチャされる。このような継続的変化を効果的に取り入れることはオープンな課題です。標準的なNeRFベンチマークはシーンカバレッジの拡張のみを含む。その他の現実的な場面の変化を研究するために,時間とともに外観や形状が変化するシーンからなる新しいデータセット World Across Time (WAT) を提案する。また,ニューラルネットワーク場(NeRF)に連続学習(CL)を導入する,単純で効果的なCLNeRFを提案する。 CLNeRFは生成的リプレイとInstant Neural Graphics Primitives (NGP)アーキテクチャを組み合わせることで、破滅的な忘れ込みを効果的に防止し、新しいデータが到着した時にモデルを効率的に更新する。また、トレーニング可能な外観と幾何埋め込みをngpに追加し、単一のコンパクトモデルで複雑なシーン変更を処理できるようにしました。歴史的なイメージを保存する必要がないclnerfは、シーンの変更を複数のスキャンで順次トレーニングし、すべてのスキャンで上界モデルと並行して実行する。他のCLベースラインと比べて、CLNeRFは標準ベンチマークやWATよりもはるかにパフォーマンスが良い。ソースコードとWATデータセットはhttps://github.com/IntelLabs/CLNeRFで公開されている。ビデオプレゼンテーションは、https://youtu.be/nLRt6OoDGq0? si=8yD6k-8MMBJInQPs

関連論文リスト

Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
論文参考訳（メタデータ） (2024-10-23T13:05:26Z)
MomentsNeRF: Leveraging Orthogonal Moments for Few-Shot Neural Rendering [4.6786468967610055]
ニューラルレンダリングのための新しいフレームワークであるMomentsNeRFを提案する。当社のアーキテクチャは,マルチシーンでトレーニングを行うための新しいトランスファー学習手法を提供する。我々のアプローチは、Gabor や Zernike のモーメントから抽出した機能をうまく活用する最初の方法です。
論文参考訳（メタデータ） (2024-07-02T21:02:48Z)
InterNeRF: Scaling Radiance Fields via Parameter Interpolation [36.014610797521605]
モデルパラメータのサブセットを用いてターゲットビューをレンダリングする新しいアーキテクチャであるInterNeRFを提案する。標準ベンチマークでは競争力を維持しながら,マルチルームシーンにおいて大幅な改善が示された。
論文参考訳（メタデータ） (2024-06-17T16:55:22Z)
CombiNeRF: A Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis [1.374796982212312]
ニューラル・ラジアンス・フィールド(NeRF)は、十分に多くのビューが利用可能である場合に、新しいビュー合成のための印象的な結果を示す。本稿では,複数の正規化手法を相乗的に組み合わせたCombiNeRFを提案する。 CombiNeRFは、いくつかの公開データセットにおいて、数ショット設定で最先端の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-03-21T13:59:00Z)
Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
論文参考訳（メタデータ） (2023-12-04T18:56:08Z)
3D Reconstruction with Generalizable Neural Fields using Scene Priors [71.37871576124789]
シーンプライオリティ(NFP)を取り入れたトレーニング一般化型ニューラルフィールドを提案する。 NFPネットワークは、任意のシングルビューRGB-D画像を符号付き距離と放射値にマッピングする。融合モジュールを外した体積空間内の個々のフレームをマージすることにより、完全なシーンを再構築することができる。
論文参考訳（メタデータ） (2023-09-26T18:01:02Z)
SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image [85.43496313628943]
本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。 SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。 NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
論文参考訳（メタデータ） (2022-04-02T19:32:42Z)
Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
論文参考訳（メタデータ） (2021-12-20T17:40:48Z)
iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文参考訳（メタデータ） (2020-12-10T18:36:40Z)
pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
論文参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。