論文の概要: IL-NeRF: Incremental Learning for Neural Radiance Fields with Camera Pose Alignment

• arxiv url: http://arxiv.org/abs/2312.05748v1
• Date: Sun, 10 Dec 2023 04:12:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 19:04:57.697816
• Title: IL-NeRF: Incremental Learning for Neural Radiance Fields with Camera Pose Alignment
• Title（参考訳）: IL-NeRF:カメラポッドアライメントを用いたニューラルラジアンスフィールドのインクリメンタル学習
• Authors: Letian Zhang, Ming Li, Chen Chen, Jie Xu
• Abstract要約: インクリメンタルなNeRFトレーニングのための新しいフレームワークであるIL-NeRFを提案する。 IL-NeRFは、インクリメンタルなNeRFトレーニングを処理し、ベースラインを最大54.04%のレンダリング品質で上回ります。
• 参考スコア（独自算出の注目度）: 12.580584725107173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural radiance fields (NeRF) is a promising approach for generating photorealistic images and representing complex scenes. However, when processing data sequentially, it can suffer from catastrophic forgetting, where previous data is easily forgotten after training with new data. Existing incremental learning methods using knowledge distillation assume that continuous data chunks contain both 2D images and corresponding camera pose parameters, pre-estimated from the complete dataset. This poses a paradox as the necessary camera pose must be estimated from the entire dataset, even though the data arrives sequentially and future chunks are inaccessible. In contrast, we focus on a practical scenario where camera poses are unknown. We propose IL-NeRF, a novel framework for incremental NeRF training, to address this challenge. IL-NeRF's key idea lies in selecting a set of past camera poses as references to initialize and align the camera poses of incoming image data. This is followed by a joint optimization of camera poses and replay-based NeRF distillation. Our experiments on real-world indoor and outdoor scenes show that IL-NeRF handles incremental NeRF training and outperforms the baselines by up to $54.04\%$ in rendering quality.
• Abstract（参考訳）: neural radiance fields(nerf)は、フォトリアリスティックな画像を生成し、複雑なシーンを表現するための有望なアプローチである。 しかし、データを逐次処理する場合は、新しいデータでトレーニングした後、前のデータを忘れやすい破滅的な忘れ込みに悩まされることがある。 知識蒸留を用いた既存の漸進的な学習手法では、連続データチャンクは2次元画像と対応するカメラポーズパラメータの両方を含むと仮定する。 これは、データが順次到着し、将来のチャンクがアクセスできない場合でも、必要なカメラのポーズをデータセット全体から推定する必要があるため、パラドックスとなる。 対照的に,カメラのポーズが不明な実用的なシナリオに注目する。 我々は,この課題に対処するために,段階的NeRFトレーニングのための新しいフレームワークであるIL-NeRFを提案する。 IL-NeRFのキーとなるアイデアは、カメラのポーズを初期化して調整するための参照として過去のカメラのポーズを選択することである。 この後、カメラポーズと再生ベースのnerf蒸留の合同最適化が行われる。 実世界の屋内および屋外のシーンにおける実験により、IL-NeRFはインクリメンタルなNeRFトレーニングを処理し、ベースラインを最大54.04 %のレンダリング品質で上回ります。

関連論文リスト

• ZeroGS: Training 3D Gaussian Splatting from Unposed Images [62.34149221132978]
  我々はZeroGSを提案し、3DGSを何百もの未提示画像から訓練する。 本手法は,事前学習した基礎モデルをニューラルネットワークのシーン表現として活用する。 提案手法は,最先端のポーズレスNeRF/3DGS法よりも高精度なカメラポーズを復元する。
  論文  参考訳（メタデータ） (2024-11-24T11:20:48Z)
• Camera Relocalization in Shadow-free Neural Radiance Fields [16.359064848532483]
  カメラのリローカライゼーションはコンピュータビジョンとロボティクスにおいて重要な問題である。 ニューラルレイディアンスフィールド(NeRF)の最近の進歩は、フォトリアリスティック画像において有望であることを示している。 照明条件や影条件の異なる画像を正規化してカメラ再配置を改善する2段パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-05-23T17:41:15Z)
• Mitigating Motion Blur in Neural Radiance Fields with Events and Frames [21.052912896866953]
  本研究では,フレームやイベントを融合させることにより,カメラ動作下でのNeRF再構成を改善する新しい手法を提案する。 我々は、イベント二重積分を追加のモデルベースとして利用して、ぼやけた生成プロセスを明示的にモデル化する。 合成および実データから,提案手法は,フレームのみを使用する既存の劣化型NeRFよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-28T19:06:37Z)
• CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
  我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。 その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-14T09:09:31Z)
• COLMAP-Free 3D Gaussian Splatting [88.420322646756]
  本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。 入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。 提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-12-12T18:39:52Z)
• A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses from HoloLens Trajectories and Structure from Motion [0.0]
  我々はNeural Radiance Fields (NeRFs) を用いたHoloLensデータから直接の高分解能3次元再構成のためのワークフローを提案する。 NeRFは、カメラのポーズと関連する画像のセットを入力としてトレーニングし、各位置の密度と色値を推定する。 その結果、内部カメラのポーズは、x軸のまわりを単純な回転で25dBのPSNRでNeRF収束し、3D再構成を可能にすることがわかった。
  論文  参考訳（メタデータ） (2023-04-20T22:17:28Z)
• DBARF: Deep Bundle-Adjusting Generalizable Neural Radiance Fields [75.35416391705503]
  BARFやGARFといった最近の研究は、座標MLPに基づくニューラルレイディアンスフィールド(NeRF)でカメラのポーズを調整することができる。 印象的な結果にもかかわらず、これらの手法は画像特徴抽出を必要とするGeneralizable NeRF(GeNeRF)には適用できない。 本稿では,GeNeRFとカメラポーズを協調的に最適化することの難しさをまず分析し,さらにこれらの問題に対処するためのDBARFを提案する。
  論文  参考訳（メタデータ） (2023-03-25T14:18:30Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
  gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。 提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
  論文  参考訳（メタデータ） (2021-03-29T13:36:38Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。