論文の概要: NeRF-MIR: Towards High-Quality Restoration of Masked Images with Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2601.17350v1
- Date: Sat, 24 Jan 2026 07:32:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-27 15:23:07.617413
- Title: NeRF-MIR: Towards High-Quality Restoration of Masked Images with Neural Radiance Fields
- Title(参考訳): NeRF-MIR:ニューラルラジアンスフィールドを用いたマスケ画像の高画質復元に向けて
- Authors: Xianliang Huang, Zhizhou Zhong, Shuhang Chen, Yi Xu, Juhong Guan, Shuigeng Zhou,
- Abstract要約: 本稿では,マスク画像の復元に特化して提案されるニューラルレンダリング手法であるNeRF-MIRを紹介する。
マスク領域を復元するためのtextbfProgressively textbfIterative textbfPIRE(textbfPIRE)機構を導入する。
実データと構築されたデータセットの実験は、マスクによる画像復元において、NeRF-MIRよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 23.86601141998747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRF) have demonstrated remarkable performance in novel view synthesis. However, there is much improvement room on restoring 3D scenes based on NeRF from corrupted images, which are common in natural scene captures and can significantly impact the effectiveness of NeRF. This paper introduces NeRF-MIR, a novel neural rendering approach specifically proposed for the restoration of masked images, demonstrating the potential of NeRF in this domain. Recognizing that randomly emitting rays to pixels in NeRF may not effectively learn intricate image textures, we propose a \textbf{P}atch-based \textbf{E}ntropy for \textbf{R}ay \textbf{E}mitting (\textbf{PERE}) strategy to distribute emitted rays properly. This enables NeRF-MIR to fuse comprehensive information from images of different views. Additionally, we introduce a \textbf{P}rogressively \textbf{I}terative \textbf{RE}storation (\textbf{PIRE}) mechanism to restore the masked regions in a self-training process. Furthermore, we design a dynamically-weighted loss function that automatically recalibrates the loss weights for masked regions. As existing datasets do not support NeRF-based masked image restoration, we construct three masked datasets to simulate corrupted scenarios. Extensive experiments on real data and constructed datasets demonstrate the superiority of NeRF-MIR over its counterparts in masked image restoration.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー合成において顕著な性能を示した。
しかし, 自然シーンの撮影では一般的であり, NeRFの有効性に大きな影響を及ぼす可能性のある, 劣化画像からのNeRFに基づく3Dシーンの復元には多くの改善の余地がある。
本稿では,マスク画像の復元に特化して提案される新しいニューラルレンダリング手法であるNeRF-MIRを紹介し,この領域におけるNeRFの可能性を示す。
NeRFの画素にランダムに放射される光は、複雑な画像テクスチャを効果的に学習することができないことを認識し、出力された光を適切に分配する手段として、 \textbf{R}ay \textbf{E}ntropy for \textbf{R}ay \textbf{E}mitting (\textbf{PERE}) 戦略を提案する。
これにより、NeRF-MIRは異なるビューの画像から包括的な情報を融合することができる。
さらに,自己学習プロセスにおいてマスキング領域を復元するために, {textbf{P}rogressively \textbf{I}terative \textbf{RE}storation (\textbf{PIRE}) 機構を導入する。
さらに,マスク付き領域の損失重みを自動補正する動的重み付き損失関数を設計する。
既存のデータセットは、NeRFベースのマスク付き画像復元をサポートしていないため、3つのマスク付きデータセットを構築し、破損したシナリオをシミュレートする。
実際のデータと構築されたデータセットに関する大規模な実験は、マスクされた画像復元において、NeRF-MIRがそれよりも優れていることを示す。
関連論文リスト
- Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。
画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。
本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
論文 参考訳(メタデータ) (2023-12-04T18:56:08Z) - NeRFuser: Large-Scale Scene Representation by NeRF Fusion [35.749208740102546]
Neural Radiance Fields (NeRF)のような暗黙的な視覚表現の実用的な利点は、そのメモリ効率である。
既製のNeRFへのアクセスのみを前提としたNeRF登録とブレンディングのための新しいアーキテクチャであるNeRFuserを提案する。
論文 参考訳(メタデータ) (2023-05-22T17:59:05Z) - MS-NeRF: Multi-Space Neural Radiance Fields [48.0367339199913]
既存のニューラルレイディアンス場(NeRF)法は反射物体の存在に悩まされ、しばしばぼやけたレンダリングをもたらす。
並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。
提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
論文 参考訳(メタデータ) (2023-05-07T13:11:07Z) - StegaNeRF: Embedding Invisible Information within Neural Radiance Fields [61.653702733061785]
我々は、NeRFレンダリングにステガノグラフィー情報を埋め込む方法であるStegaNeRFを提案する。
我々は、NeRFで描画された画像から正確な隠れ情報抽出を可能にする最適化フレームワークを設計する。
StegaNeRFは、NeRFレンダリングにカスタマイズ可能で、認識不能で、回復不能な情報を注入する新しい問題に対する最初の調査である。
論文 参考訳(メタデータ) (2022-12-03T12:14:19Z) - NeRF-In: Free-Form NeRF Inpainting with RGB-D Priors [14.911856302172996]
我々は,事前学習したNeRFで表現された3Dシーンにおいて,望ましくないオブジェクトや望ましくない領域を除去できる最初のフレームワークを紹介した。
より短い時間と少ないユーザ手作業を用いて、複数のビューにまたがって視覚的可視かつ構造的に一貫した結果が得られることを示す。
論文 参考訳(メタデータ) (2022-06-10T06:54:22Z) - Recursive-NeRF: An Efficient and Dynamically Growing NeRF [34.768382663711705]
Recursive-NeRFは、NeRF(Neural Radiance Field)法の効率的なレンダリングおよびトレーニング手法である。
Recursive-NeRFはクエリ座標の不確かさを学習し、予測色の品質と各レベルの体積強度を表す。
3つの公開データセットについて評価したところ, 再帰型NeRFは, 最先端の品質を提供しながら, NeRFよりも効率的であることがわかった。
論文 参考訳(メタデータ) (2021-05-19T12:51:54Z) - UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for
Multi-View Reconstruction [61.17219252031391]
ニューラル暗黙的3D表現を用いた多視点画像から表面を再構築する新しい手法を提案する。
我々の重要な洞察は、暗黙の曲面モデルと放射場を統一的に定式化し、表面および体積のレンダリングを可能にすることである。
実験により, マスクを必要とせず, idrと同等の性能を保ちつつ, 再構成品質でnrfを上回った。
論文 参考訳(メタデータ) (2021-04-20T15:59:38Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳(メタデータ) (2021-04-13T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。