Fugu-MT 論文翻訳(概要): SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields

論文の概要: SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields

arxiv url: http://arxiv.org/abs/2409.04482v1
Date: Fri, 6 Sep 2024 03:36:12 GMT
ステータス: 処理完了
システム内更新日: 2024-09-10 22:45:53.441809
Title: SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields
Title（参考訳）: SCARF: メモリ効率・マルチニューラルラジアンスフィールドのためのスケーラブル連続学習フレームワーク
Authors: Yuze Wang, Junyi Wang, Chen Wang, Wantong Duan, Yongtang Bao, Yue Qi,
Abstract要約: 我々は,多層パーセプトロンを用いてシーンの密度と放射場を暗黙の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。本研究では, 既往のシーンの放射界知識を新しいモデルに転送するための, 不確実な表面知識蒸留戦略を提案する。実験の結果,提案手法はNeRF-Synthetic, LLFF, TanksAndTemplesデータセット上での連続学習NeRFの最先端のレンダリング品質を実現する。
参考スコア（独自算出の注目度）: 9.606992888590757
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper introduces a novel continual learning framework for synthesising novel views of multiple scenes, learning multiple 3D scenes incrementally, and updating the network parameters only with the training data of the upcoming new scene. We build on Neural Radiance Fields (NeRF), which uses multi-layer perceptron to model the density and radiance field of a scene as the implicit function. While NeRF and its extensions have shown a powerful capability of rendering photo-realistic novel views in a single 3D scene, managing these growing 3D NeRF assets efficiently is a new scientific problem. Very few works focus on the efficient representation or continuous learning capability of multiple scenes, which is crucial for the practical applications of NeRF. To achieve these goals, our key idea is to represent multiple scenes as the linear combination of a cross-scene weight matrix and a set of scene-specific weight matrices generated from a global parameter generator. Furthermore, we propose an uncertain surface knowledge distillation strategy to transfer the radiance field knowledge of previous scenes to the new model. Representing multiple 3D scenes with such weight matrices significantly reduces memory requirements. At the same time, the uncertain surface distillation strategy greatly overcomes the catastrophic forgetting problem and maintains the photo-realistic rendering quality of previous scenes. Experiments show that the proposed approach achieves state-of-the-art rendering quality of continual learning NeRF on NeRF-Synthetic, LLFF, and TanksAndTemples datasets while preserving extra low storage cost.
Abstract（参考訳）: 本稿では,複数シーンの新たなビューを合成し,複数の3Dシーンを段階的に学習し,新たなシーンのトレーニングデータのみを用いてネットワークパラメータを更新する,新たな連続学習フレームワークを提案する。我々は,多層パーセプトロンを用いてシーンの密度と放射場を暗黙の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。 NeRFとその拡張は、単一の3Dシーンで写真リアリスティックな新しいビューをレンダリングする強力な能力を示しているが、これらの成長する3D NeRF資産を効率的に管理することは、新しい科学的問題である。複数のシーンの効率的な表現や継続的な学習能力に注目する研究はほとんどないが、これはNeRFの実践的応用に不可欠である。これらの目的を達成するために、我々は、グローバルパラメータ生成器から生成されるシーン固有の重み行列と、クロスシーンの重み行列の線形結合として、複数のシーンを表現することを目的としている。さらに,前景の放射界知識を新しいモデルに伝達する,不確実な表面知識蒸留戦略を提案する。このような重み行列で複数の3Dシーンを表現することは、メモリ要求を大幅に減少させる。同時に、不確実な表面蒸留戦略は破滅的な忘れ問題を大幅に克服し、以前のシーンの写実的なレンダリング品質を維持している。実験により,NeRF-Synthetic, LLFF, TanksAndTemplesデータセット上での連続学習NeRFの最先端レンダリング品質を実現するとともに,余分な低ストレージコストを保ちながら,提案手法の有効性が示された。

関連論文リスト

DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文参考訳（メタデータ） (2024-06-17T21:15:13Z)
PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames in Autonomous Driving Environments [3.1969023045814753]
親子ニューラルレイディアンス場(PC-NeRF)と呼ばれる3次元シーン再構成と新しいビュー合成フレームワークを提案する。 PC-NeRFは、シーン、セグメント、ポイントレベルを含む階層的な空間分割とマルチレベルシーン表現を実装している。広範にわたる実験により,PC-NeRFは大規模シーンにおける高精度なLiDARビュー合成と3次元再構成を実現することが証明された。
論文参考訳（メタデータ） (2024-02-14T17:16:39Z)
ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文参考訳（メタデータ） (2023-12-05T18:59:58Z)
Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文参考訳（メタデータ） (2023-04-20T17:59:52Z)
Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
論文参考訳（メタデータ） (2023-03-03T06:32:55Z)
AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
論文参考訳（メタデータ） (2022-11-17T17:22:28Z)
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文参考訳（メタデータ） (2022-09-02T17:44:50Z)
NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
論文参考訳（メタデータ） (2022-03-21T18:56:35Z)
Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
論文参考訳（メタデータ） (2022-02-24T01:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。