論文の概要: Fast Sparse View Guided NeRF Update for Object Reconfigurations

• arxiv url: http://arxiv.org/abs/2403.11024v1
• Date: Sat, 16 Mar 2024 22:00:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 20:36:44.392861
• Title: Fast Sparse View Guided NeRF Update for Object Reconfigurations
• Title（参考訳）: 高速スパースビューガイドによるオブジェクト再構成のためのNeRF更新
• Authors: Ziqi Lu, Jianbo Ye, Xiaohan Fei, Xiaolong Li, Jiawei Mo, Ashwin Swaminathan, Stefano Soatto,
• Abstract要約: 我々は,NeRFの物理的変化に対する最初の更新手法を開発した。 提案手法では,新たな画像のみを余分な入力として処理し,トレーニング済みのNeRFを約1～2分で更新する。 私たちの中核となる考え方は、局所的な幾何学や外観の変化を学ぶために、第2のヘルパーNeRFを使うことです。
• 参考スコア（独自算出の注目度）: 42.947608325321475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Field (NeRF), as an implicit 3D scene representation, lacks inherent ability to accommodate changes made to the initial static scene. If objects are reconfigured, it is difficult to update the NeRF to reflect the new state of the scene without time-consuming data re-capturing and NeRF re-training. To address this limitation, we develop the first update method for NeRFs to physical changes. Our method takes only sparse new images (e.g. 4) of the altered scene as extra inputs and update the pre-trained NeRF in around 1 to 2 minutes. Particularly, we develop a pipeline to identify scene changes and update the NeRF accordingly. Our core idea is the use of a second helper NeRF to learn the local geometry and appearance changes, which sidesteps the optimization difficulties in direct NeRF fine-tuning. The interpolation power of the helper NeRF is the key to accurately reconstruct the un-occluded objects regions under sparse view supervision. Our method imposes no constraints on NeRF pre-training, and requires no extra user input or explicit semantic priors. It is an order of magnitude faster than re-training NeRF from scratch while maintaining on-par and even superior performance.
• Abstract（参考訳）: NeRF(Neural Radiance Field)は、暗黙の3Dシーン表現として、初期静的シーンの変更に対応する固有の能力に欠ける。 オブジェクトが再構成された場合、NeRFを更新してシーンの新たな状態を反映することは、データの再キャプチャやNeRFの再トレーニングに時間がかからない。 この制限に対処するため、我々はNeRFの物理変化に対する最初の更新方法を開発した。 提案手法では,追加入力として変化シーンの新しい画像(eg4)のみを抽出し,トレーニング済みのNeRFを約1～2分で更新する。 特に,シーン変化を識別するパイプラインを開発し,それに応じてNeRFを更新する。 我々の中核となる考え方は、局所的な幾何学と外観変化を学習するために第2のヘルパーNeRFを使用することであり、これは直接のNeRF微調整における最適化の難しさを後押しするものである。 ヘルパー NeRF の補間力は、疎視監督下で隠蔽対象領域を正確に再構築する鍵となる。 提案手法は,NeRF事前学習に制約を課さず,ユーザ入力や明示的なセマンティック事前処理は不要である。 NeRFをスクラッチから再訓練し、オンパーを維持し、さらに優れた性能を保ちながら、桁違いに高速である。

関連論文リスト

• Re-Nerfing: Improving Novel Views Synthesis through Novel Views Synthesis [80.3686833921072]
  Re-Nerfingは単純で汎用的なマルチステージデータ拡張アプローチである。 利用可能なビューでNeRFをトレーニングした後、最適化されたNeRFを使用して、元のビューに関する擬似ビューを合成します。 また、原画像と疑似ビューの両方が不確実領域を隠蔽する第2のNeRFを訓練する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• DReg-NeRF: Deep Registration for Neural Radiance Fields [66.69049158826677]
  我々は,人間の介入なしにオブジェクト中心のアノテートシーンにおけるNeRF登録問題を解くためにDReg-NeRFを提案する。 提案手法は,SOTAポイントクラウド登録方式を大きなマージンで打ち負かす。
  論文  参考訳（メタデータ） (2023-08-18T08:37:49Z)
• Learning a Diffusion Prior for NeRFs [84.99454404653339]
  正規化グリッド上に符号化されたNeRFを生成するために拡散モデルを提案する。 提案モデルでは,現実的なNeRFのサンプル化が可能である一方で,条件付き世代を許容すると同時に,特定の観察をガイダンスとして与えることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T19:24:21Z)
• FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization [32.1581416980828]
  本稿では、従来の手法よりも優れた驚くほど単純なベースラインである周波数正規化NeRF(FreeNeRF)を提案する。 我々は、数ショットのニューラルレンダリングにおける重要な課題を分析し、NeRFのトレーニングにおいて周波数が重要な役割を果たすことを発見した。
  論文  参考訳（メタデータ） (2023-03-13T18:59:03Z)
• Removing Objects From Neural Radiance Fields [60.067117643543824]
  RGB-Dシーケンスから生成されたNeRF表現からオブジェクトを除去するフレームワークを提案する。 当社のNeRF塗装法は,最近の2次元画像塗装技術を活用し,ユーザが提供するマスクでガイドされる。 提案手法は多視点コヒーレントな方法で可塑性塗料の合成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-22T18:51:06Z)
• Compressing Explicit Voxel Grid Representations: fast NeRFs become also small [3.1473798197405944]
  Re:NeRFは、同等の性能を維持しながら、NeRFモデルのメモリストレージを削減することを目的としている。 3つのEVG-NeRFアーキテクチャを4つの人気のあるベンチマークでベンチマークする。
  論文  参考訳（メタデータ） (2022-10-23T16:42:29Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• VaxNeRF: Revisiting the Classic for Voxel-Accelerated Neural Radiance Field [28.087183395793236]
  本稿では,Voxel-Accelearated NeRF (VaxNeRF)を提案する。 VaxNeRFは、ハイパフォーマンスなJaxNeRF上での学習を約2～8倍高速化する。 VaxNeRFが新たなNeRF拡張とアプリケーションを強化し、加速できることを願っています。
  論文  参考訳（メタデータ） (2021-11-25T14:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。