論文の概要: Instant Continual Learning of Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2309.01811v2
- Date: Wed, 6 Sep 2023 02:10:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 11:25:18.398999
- Title: Instant Continual Learning of Neural Radiance Fields
- Title(参考訳): 神経放射野の瞬時連続学習
- Authors: Ryan Po, Zhengyang Dong, Alexander W. Bergman, Gordon Wetzstein
- Abstract要約: ニューラルレイディアンス場(NeRF)は,新規な視点合成と3次元シーン再構成の有効な方法として出現している。
本稿では,リプレイに基づく手法とハイブリッドな明示的シーン表現を併用したNeRFの連続学習フレームワークを提案する。
提案手法は, 連続的な環境下での学習において, 従来手法よりも高い精度で再現性能を向上すると同時に, 桁違いの高速化を図っている。
- 参考スコア(独自算出の注目度): 78.08008474313809
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural radiance fields (NeRFs) have emerged as an effective method for
novel-view synthesis and 3D scene reconstruction. However, conventional
training methods require access to all training views during scene
optimization. This assumption may be prohibitive in continual learning
scenarios, where new data is acquired in a sequential manner and a continuous
update of the NeRF is desired, as in automotive or remote sensing applications.
When naively trained in such a continual setting, traditional scene
representation frameworks suffer from catastrophic forgetting, where previously
learned knowledge is corrupted after training on new data. Prior works in
alleviating forgetting with NeRFs suffer from low reconstruction quality and
high latency, making them impractical for real-world application. We propose a
continual learning framework for training NeRFs that leverages replay-based
methods combined with a hybrid explicit--implicit scene representation. Our
method outperforms previous methods in reconstruction quality when trained in a
continual setting, while having the additional benefit of being an order of
magnitude faster.
- Abstract(参考訳): ニューラルレイディアンス場(NeRF)は,新規な視点合成と3次元シーン再構成の有効な方法として出現している。
しかし,従来のトレーニング手法では,シーン最適化時にすべてのトレーニングビューにアクセスする必要がある。
この仮定は、自動車やリモートセンシングアプリケーションのように、新しいデータが逐次的に取得され、NeRFの継続的な更新が望まれる連続的な学習シナリオでは禁止される。
このような継続的な環境で自然に訓練された場合、伝統的なシーン表現フレームワークは壊滅的な忘れに苦しむ。
NeRFによる忘れを緩和する以前の作業は、再構築品質が低く、レイテンシが高いため、現実のアプリケーションでは実用的ではない。
本稿では,リプレイに基づく手法とハイブリッドな明示的シーン表現を併用したNeRFの連続学習フレームワークを提案する。
本手法は,1桁の速さという付加的な利点を生かしながら,連続的に訓練された場合の復元品質の従来の手法を上回っている。
関連論文リスト
- ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。
提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。
本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文 参考訳(メタデータ) (2023-12-05T18:59:58Z) - Self-Evolving Neural Radiance Fields [31.124406548504794]
我々は、自己学習フレームワークを神経放射場(NeRF)に適用する、SE-NeRF(Self-Evolving Neural Radiance Fields)と呼ばれる新しいフレームワークを提案する。
数発のNeRFを教師向けフレームワークに定式化し、ネットワークを誘導し、より堅牢なシーン表現を学習する。
既存のモデルに自己学習フレームワークを適用することで、レンダリング画像の品質が向上し、複数の設定で最先端のパフォーマンスが達成できることを示し、評価する。
論文 参考訳(メタデータ) (2023-12-02T02:28:07Z) - ZeST-NeRF: Using temporal aggregation for Zero-Shot Temporal NeRFs [18.338949996255664]
本稿では,新たなシーンに時間的NeRFを生成できるZeST-NeRFを提案する。
我々は,様々な分野からの最先端のアプローチが,この新たな課題を適切に解決できないことを実証し,本ソリューションの有効性を実証する。
論文 参考訳(メタデータ) (2023-11-30T12:06:15Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳(メタデータ) (2023-06-05T15:11:59Z) - OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。
本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。
本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
論文 参考訳(メタデータ) (2023-05-24T07:36:47Z) - Effective and Efficient Training for Sequential Recommendation using
Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。
提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文 参考訳(メタデータ) (2022-07-06T13:06:31Z) - UNeRF: Time and Memory Conscious U-Shaped Network for Training Neural
Radiance Fields [16.826691448973367]
ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー合成とシーン再構成のための再構築の詳細を増大させる。
しかし、そのようなニューラルネットワークの解像度とモデルフリー性の向上は、高いトレーニング時間と過剰なメモリ要求のコストが伴う。
本研究では,近隣のサンプル点間で評価を部分的に共有することで,NeRFのサンプルベース計算の冗長性を利用する手法を提案する。
論文 参考訳(メタデータ) (2022-06-23T19:57:07Z) - Neural Maximum A Posteriori Estimation on Unpaired Data for Motion
Deblurring [87.97330195531029]
本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。
提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
論文 参考訳(メタデータ) (2022-04-26T08:09:47Z) - NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。
我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
論文 参考訳(メタデータ) (2022-03-21T18:56:35Z) - Continual Learning with Invertible Generative Models [15.705568893476947]
破滅的な忘れ(CF)は、ニューラルネットワークが新しいタスクでトレーニングされている間、過去の知識を上書きするたびに起こる。
本稿では,正規化の強みと生成的リハーサルアプローチを組み合わせた新しい手法を提案する。
論文 参考訳(メタデータ) (2022-02-11T15:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。