論文の概要: Semantic-aware Occlusion Filtering Neural Radiance Fields in the Wild

• arxiv url: http://arxiv.org/abs/2303.03966v1
• Date: Sun, 5 Mar 2023 11:50:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 14:44:19.722451
• Title: Semantic-aware Occlusion Filtering Neural Radiance Fields in the Wild
• Title（参考訳）: 野生におけるセマンティック・アウェア・オクルージョンフィルタ
• Authors: Jaewon Lee, Injae Kim, Hwan Heo, Hyunwoo J. Kim
• Abstract要約: 本稿では,制約のない観光写真からニューラルシーン表現を再構築するための学習フレームワークを提案する。 SF-NeRFは,静的成分と過渡成分を少数の画像で切り離すことを目的としている。 フィルタモジュールの曖昧な分解とノイズを防止できる2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 10.066261691282016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a learning framework for reconstructing neural scene representations from a small number of unconstrained tourist photos. Since each image contains transient occluders, decomposing the static and transient components is necessary to construct radiance fields with such in-the-wild photographs where existing methods require a lot of training data. We introduce SF-NeRF, aiming to disentangle those two components with only a few images given, which exploits semantic information without any supervision. The proposed method contains an occlusion filtering module that predicts the transient color and its opacity for each pixel, which enables the NeRF model to solely learn the static scene representation. This filtering module learns the transient phenomena guided by pixel-wise semantic features obtained by a trainable image encoder that can be trained across multiple scenes to learn the prior of transient objects. Furthermore, we present two techniques to prevent ambiguous decomposition and noisy results of the filtering module. We demonstrate that our method outperforms state-of-the-art novel view synthesis methods on Phototourism dataset in a few-shot setting.
• Abstract（参考訳）: 本稿では,少数の無拘束観光写真からニューラルネットワークのシーン表現を再構成する学習フレームワークを提案する。 各画像には過渡的オククローダが含まれているため、既存手法が多くのトレーニングデータを必要とするような線量場を構築するためには、静的成分と過渡成分を分解する必要がある。 SF-NeRFを導入し、これら2つのコンポーネントを少数の画像で切り離すことを目的としている。 提案手法は,各画素の過渡色とその不透明度を予測するオクルージョンフィルタモジュールを含んでおり,NeRFモデルは静的シーン表現のみを学習することができる。 トレーニング可能な画像エンコーダによって得られる画素ワイドなセマンティック特徴によって導かれる過渡現象を複数のシーンで学習し、過渡物体の事前学習を行う。 さらに, フィルタモジュールの曖昧な分解とノイズ発生を防止する2つの手法を提案する。 本手法は,フォトツーリズムデータセットにおける最先端の新規ビュー合成手法を数ショット設定で上回っていることを示す。

関連論文リスト

• MLI-NeRF: Multi-Light Intrinsic-Aware Neural Radiance Fields [21.057216351934688]
  反射率やシェーディングなどの固有画像成分を抽出する現在の手法は、統計的先行性に依存している。 我々はtextbfIntrinsic-aware textbfNeural textbfRadiance textbfFields に textbfMultiple textbfLight 情報を統合する MLI-NeRF を提案する。
  論文  参考訳（メタデータ） (2024-11-26T08:57:38Z)
• Sparse-DeRF: Deblurred Neural Radiance Fields from Sparse View [17.214047499850487]
  本稿では,より現実的なシナリオに対するスパースビューから,分解型ニューラルラジアンスフィールド(DeRF)を構築することに焦点を当てる。 Sparse-DeRFは複雑なジョイント最適化を正則化し、緩和されたオーバーフィッティングアーティファクトとラディアンスフィールドの品質を向上した。 2ビュー,4ビュー,6ビューのぼかし画像からDeRFをトレーニングすることにより,Sparse-DeRFの有効性を示す。
  論文  参考訳（メタデータ） (2024-07-09T07:36:54Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• Neural Image Re-Exposure [86.42475408644822]
  不適切なシャッターは、ぼやけた画像、ビデオの不連続、あるいはローリングシャッターアーティファクトにつながる可能性がある。 ニューラルネットワークに基づく画像再露法フレームワークを提案する。 視覚的潜在空間構築のためのエンコーダ、所望のシャッター戦略でニューラルフィルムに情報を集約する再露光モジュール、およびニューラルフィルムを所望の画像に「展開」するためのデコーダから構成される。
  論文  参考訳（メタデータ） (2023-05-23T01:55:37Z)
• Neural Congealing: Aligning Images to a Joint Semantic Atlas [14.348512536556413]
  画像の集合を横断的に意味的に共通するコンテンツを調整するための,ゼロショットの自己教師型フレームワークを提案する。 提案手法は,DINO-ViTの事前学習能力を利用して学習する。 提案手法は,大規模データセットに対する広範囲なトレーニングを必要とする最先端の手法と比較して,好適に動作することを示す。
  論文  参考訳（メタデータ） (2023-02-08T09:26:22Z)
• im2nerf: Image to Neural Radiance Field in the Wild [47.18702901448768]
  im2nerfは、野生の1つの入力イメージが与えられた連続的な神経オブジェクト表現を予測する学習フレームワークである。 Im2nerfは、野生の単視未表示画像から新しいビューを合成するための最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-09-08T23:28:56Z)
• Fully Context-Aware Image Inpainting with a Learned Semantic Pyramid [102.24539566851809]
  画像中の任意の欠落する領域に対して、合理的で現実的なコンテンツを復元することは、重要な課題である。 最近の画像インパインティングモデルは鮮明な視覚的詳細を生成するために大きな進歩を遂げているが、それでもテクスチャのぼやけや構造的歪みにつながる可能性がある。 本研究では,画像中の局所的欠落コンテンツの回復に大きく貢献する,多スケールなセマンティック・セマンティック・ピラミッド・ネットワーク(SPN)を提案する。
  論文  参考訳（メタデータ） (2021-12-08T04:33:33Z)
• Recursive Self-Improvement for Camera Image and Signal Processing Pipeline [6.318974730864278]
  現在のカメラ画像と信号処理パイプライン(ISP)は、画像全体に一様に適用される単一のフィルタを適用する傾向がある。 これは、ほとんどの取得したカメラ画像が空間的に異質なアーティファクトを持っているにもかかわらずである。 学習された潜在部分空間で動作する深層強化学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-15T02:23:40Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)
• Self-Adaptively Learning to Demoire from Focused and Defocused Image Pairs [97.67638106818613]
  モアレアーティファクトはデジタル写真では一般的であり、高周波シーンコンテンツとカメラのカラーフィルタアレイとの干渉によるものである。 大規模反復で訓練された既存のディープラーニングに基づく復習手法は、様々な複雑なモアレパターンを扱う場合に限られる。 本稿では,高頻度画像の復調のための自己適応学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T23:09:02Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。