論文の概要: Semantic-aware Occlusion Filtering Neural Radiance Fields in the Wild
- arxiv url: http://arxiv.org/abs/2303.03966v1
- Date: Sun, 5 Mar 2023 11:50:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 14:44:19.722451
- Title: Semantic-aware Occlusion Filtering Neural Radiance Fields in the Wild
- Title(参考訳): 野生におけるセマンティック・アウェア・オクルージョンフィルタ
- Authors: Jaewon Lee, Injae Kim, Hwan Heo, Hyunwoo J. Kim
- Abstract要約: 本稿では,制約のない観光写真からニューラルシーン表現を再構築するための学習フレームワークを提案する。
SF-NeRFは,静的成分と過渡成分を少数の画像で切り離すことを目的としている。
フィルタモジュールの曖昧な分解とノイズを防止できる2つの手法を提案する。
- 参考スコア(独自算出の注目度): 10.066261691282016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a learning framework for reconstructing neural scene
representations from a small number of unconstrained tourist photos. Since each
image contains transient occluders, decomposing the static and transient
components is necessary to construct radiance fields with such in-the-wild
photographs where existing methods require a lot of training data. We introduce
SF-NeRF, aiming to disentangle those two components with only a few images
given, which exploits semantic information without any supervision. The
proposed method contains an occlusion filtering module that predicts the
transient color and its opacity for each pixel, which enables the NeRF model to
solely learn the static scene representation. This filtering module learns the
transient phenomena guided by pixel-wise semantic features obtained by a
trainable image encoder that can be trained across multiple scenes to learn the
prior of transient objects. Furthermore, we present two techniques to prevent
ambiguous decomposition and noisy results of the filtering module. We
demonstrate that our method outperforms state-of-the-art novel view synthesis
methods on Phototourism dataset in a few-shot setting.
- Abstract(参考訳): 本稿では,少数の無拘束観光写真からニューラルネットワークのシーン表現を再構成する学習フレームワークを提案する。
各画像には過渡的オククローダが含まれているため、既存手法が多くのトレーニングデータを必要とするような線量場を構築するためには、静的成分と過渡成分を分解する必要がある。
SF-NeRFを導入し、これら2つのコンポーネントを少数の画像で切り離すことを目的としている。
提案手法は,各画素の過渡色とその不透明度を予測するオクルージョンフィルタモジュールを含んでおり,NeRFモデルは静的シーン表現のみを学習することができる。
トレーニング可能な画像エンコーダによって得られる画素ワイドなセマンティック特徴によって導かれる過渡現象を複数のシーンで学習し、過渡物体の事前学習を行う。
さらに, フィルタモジュールの曖昧な分解とノイズ発生を防止する2つの手法を提案する。
本手法は,フォトツーリズムデータセットにおける最先端の新規ビュー合成手法を数ショット設定で上回っていることを示す。
関連論文リスト
- Diffusion Model-Based Image Editing: A Survey [47.78296074510459]
様々な画像生成や編集作業のための強力なツールとして,拡散モデルが登場している。
本稿では,画像編集のための拡散モデルを用いた既存手法の概要について述べる。
テキスト誘導画像編集アルゴリズムの性能を更に評価するために,系統的なベンチマークであるEditEvalを提案する。
論文 参考訳(メタデータ) (2024-02-27T14:07:09Z) - Neural Image Re-Exposure [86.42475408644822]
不適切なシャッターは、ぼやけた画像、ビデオの不連続、あるいはローリングシャッターアーティファクトにつながる可能性がある。
ニューラルネットワークに基づく画像再露法フレームワークを提案する。
視覚的潜在空間構築のためのエンコーダ、所望のシャッター戦略でニューラルフィルムに情報を集約する再露光モジュール、およびニューラルフィルムを所望の画像に「展開」するためのデコーダから構成される。
論文 参考訳(メタデータ) (2023-05-23T01:55:37Z) - Neural Congealing: Aligning Images to a Joint Semantic Atlas [14.348512536556413]
画像の集合を横断的に意味的に共通するコンテンツを調整するための,ゼロショットの自己教師型フレームワークを提案する。
提案手法は,DINO-ViTの事前学習能力を利用して学習する。
提案手法は,大規模データセットに対する広範囲なトレーニングを必要とする最先端の手法と比較して,好適に動作することを示す。
論文 参考訳(メタデータ) (2023-02-08T09:26:22Z) - im2nerf: Image to Neural Radiance Field in the Wild [47.18702901448768]
im2nerfは、野生の1つの入力イメージが与えられた連続的な神経オブジェクト表現を予測する学習フレームワークである。
Im2nerfは、野生の単視未表示画像から新しいビューを合成するための最先端性能を実現する。
論文 参考訳(メタデータ) (2022-09-08T23:28:56Z) - Enhancement of Novel View Synthesis Using Omnidirectional Image
Completion [61.78187618370681]
ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。
実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
論文 参考訳(メタデータ) (2022-03-18T13:49:25Z) - Fully Context-Aware Image Inpainting with a Learned Semantic Pyramid [102.24539566851809]
画像中の任意の欠落する領域に対して、合理的で現実的なコンテンツを復元することは、重要な課題である。
最近の画像インパインティングモデルは鮮明な視覚的詳細を生成するために大きな進歩を遂げているが、それでもテクスチャのぼやけや構造的歪みにつながる可能性がある。
本研究では,画像中の局所的欠落コンテンツの回復に大きく貢献する,多スケールなセマンティック・セマンティック・ピラミッド・ネットワーク(SPN)を提案する。
論文 参考訳(メタデータ) (2021-12-08T04:33:33Z) - Recursive Self-Improvement for Camera Image and Signal Processing
Pipeline [6.318974730864278]
現在のカメラ画像と信号処理パイプライン(ISP)は、画像全体に一様に適用される単一のフィルタを適用する傾向がある。
これは、ほとんどの取得したカメラ画像が空間的に異質なアーティファクトを持っているにもかかわらずである。
学習された潜在部分空間で動作する深層強化学習モデルを提案する。
論文 参考訳(メタデータ) (2021-11-15T02:23:40Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳(メタデータ) (2020-12-10T18:36:40Z) - Self-Adaptively Learning to Demoire from Focused and Defocused Image
Pairs [97.67638106818613]
モアレアーティファクトはデジタル写真では一般的であり、高周波シーンコンテンツとカメラのカラーフィルタアレイとの干渉によるものである。
大規模反復で訓練された既存のディープラーニングに基づく復習手法は、様々な複雑なモアレパターンを扱う場合に限られる。
本稿では,高頻度画像の復調のための自己適応学習手法を提案する。
論文 参考訳(メタデータ) (2020-11-03T23:09:02Z) - NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。
NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。
大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
論文 参考訳(メタデータ) (2020-10-15T03:24:14Z) - Light Field View Synthesis via Aperture Disparity and Warping Confidence
Map [47.046276641506786]
本稿では,スパース画像の集合から任意のカメラ位置からビューを合成するための学習的アプローチを提案する。
この新たなビュー合成の鍵となる課題は、異なる入力画像からのビューが光路の障害物のために一貫性がない場合の再構成プロセスから生じる。
論文 参考訳(メタデータ) (2020-09-07T09:46:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。