論文の概要: IE-NeRF: Inpainting Enhanced Neural Radiance Fields in the Wild

• arxiv url: http://arxiv.org/abs/2407.10695v1
• Date: Mon, 15 Jul 2024 13:10:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 15:11:40.930266
• Title: IE-NeRF: Inpainting Enhanced Neural Radiance Fields in the Wild
• Title（参考訳）: IE-NeRF: 野生の強化されたニューラルラジアンスフィールドの塗装
• Authors: Shuaixian Wang, Haoran Xu, Yaokun Li, Jiwei Chen, Guang Tan,
• Abstract要約: 本稿では,ニューラル・ラジアンス・フィールド(NeRF)と野生の無制御写真を用いて,リアルな新しいビューを合成するための新しいアプローチを提案する。 textitInpainting Enhanced NeRF, あるいは我々のフレームワークは, 画像インパインティング技術からインスピレーションを得て, 従来のNeRFを強化する。
• 参考スコア（独自算出の注目度）: 15.86621086993995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel approach for synthesizing realistic novel views using Neural Radiance Fields (NeRF) with uncontrolled photos in the wild. While NeRF has shown impressive results in controlled settings, it struggles with transient objects commonly found in dynamic and time-varying scenes. Our framework called \textit{Inpainting Enhanced NeRF}, or \ours, enhances the conventional NeRF by drawing inspiration from the technique of image inpainting. Specifically, our approach extends the Multi-Layer Perceptrons (MLP) of NeRF, enabling it to simultaneously generate intrinsic properties (static color, density) and extrinsic transient masks. We introduce an inpainting module that leverages the transient masks to effectively exclude occlusions, resulting in improved volume rendering quality. Additionally, we propose a new training strategy with frequency regularization to address the sparsity issue of low-frequency transient components. We evaluate our approach on internet photo collections of landmarks, demonstrating its ability to generate high-quality novel views and achieve state-of-the-art performance.
• Abstract（参考訳）: 本稿では,ニューラル・ラジアンス・フィールド(NeRF)と野生の無制御写真を用いて,リアルな新しいビューを合成するための新しいアプローチを提案する。 NeRFはコントロールされた設定で印象的な結果を示したが、動的、時間的に変化するシーンでよく見られる過渡的なオブジェクトと競合する。 我々のフレームワークである‘textit{Inpainting Enhanced NeRF} は、画像インパインティング技術からインスピレーションを得て従来のNeRFを強化する。 具体的には、NeRFのMulti-Layer Perceptrons(MLP)を拡張して、内在特性(静色、密度)と外因性過渡マスクを同時に生成する。 我々は,過渡マスクを有効に除去し,ボリュームレンダリングの質を向上する塗装モジュールを提案する。 さらに、低周波過渡成分の疎結合問題に対処するため、周波数正規化を伴う新たなトレーニング戦略を提案する。 ランドマークのインターネット写真コレクションに対する我々のアプローチを評価し、高品質な新規ビューを生成し、最先端のパフォーマンスを実現する能力を示す。

関連論文リスト

• NeRF On-the-go: Exploiting Uncertainty for Distractor-free NeRFs in the Wild [55.154625718222995]
  我々は,複雑なシーンにおける新規ビューのロバストな合成を可能にする,シンプルで効果的な方法であるNeRF On-the-goを紹介する。 本手法は,最先端技術よりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-29T02:53:40Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• Dynamic Mesh-Aware Radiance Fields [75.59025151369308]
  本稿では,メッシュとNeRFの双方向結合をレンダリングおよびシミュレーション時に設計する。 ハイブリッドシステムはメッシュ挿入のための視覚リアリズムの代替よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-08T20:18:18Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• Pre-NeRF 360: Enriching Unbounded Appearances for Neural Radiance Fields [8.634008996263649]
  我々は,NeRFアーキテクチャの性能向上のための新しいフレームワークを提案する。 我々のソリューションは、以前のバージョンのNeRFに悩まされていたいくつかの障害を克服します。 我々はN5k360データセットとして知られるNutrition5kデータセットの更新版を導入する。
  論文  参考訳（メタデータ） (2023-03-21T23:29:38Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)
• NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections [47.9463405062868]
  本研究では,非構造化画像のみを用いて,複雑なシーンの新たなビューを合成する学習的手法を提案する。 我々は、多層パーセプトロンの重みを利用して、シーンの密度と色を3次元座標の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。 我々はこれらの問題に対処するために、NeRFの一連の拡張を導入し、インターネットから取得した非構造化画像からの正確な再構築を可能にする。
  論文  参考訳（メタデータ） (2020-08-05T17:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。