論文の概要: GN-FR:Generalizable Neural Radiance Fields for Flare Removal
- arxiv url: http://arxiv.org/abs/2412.08200v1
- Date: Wed, 11 Dec 2024 08:43:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-12 14:01:23.998986
- Title: GN-FR:Generalizable Neural Radiance Fields for Flare Removal
- Title（参考訳）: GN-FR:フレア除去のための一般化可能なニューラル放射場
- Authors: Gopi Raju Matta, Rahul Siddartha, Rongali Simhachala Venkata Girish, Sumit Sharma, Kaushik Mitra,
- Abstract要約: レンズフレアの影響を受けやすい入力画像のスパース集合からフレアフリービューを描画するフレームワークを提案する。
782枚の画像と80枚の実フレアパターンを持つ17枚の実フレアシーンと、それに対応する注釈付きフレア占有マスクからなる3次元多視点フレアデータセットを提案する。
- 参考スコア（独自算出の注目度）: 11.646119341279164
- License:
- Abstract: Flare, an optical phenomenon resulting from unwanted scattering and reflections within a lens system, presents a significant challenge in imaging. The diverse patterns of flares, such as halos, streaks, color bleeding, and haze, complicate the flare removal process. Existing traditional and learning-based methods have exhibited limited efficacy due to their reliance on single-image approaches, where flare removal is highly ill-posed. We address this by framing flare removal as a multi-view image problem, taking advantage of the view-dependent nature of flare artifacts. This approach leverages information from neighboring views to recover details obscured by flare in individual images. Our proposed framework, GN-FR (Generalizable Neural Radiance Fields for Flare Removal), can render flare-free views from a sparse set of input images affected by lens flare and generalizes across different scenes in an unsupervised manner. GN-FR incorporates several modules within the Generalizable NeRF Transformer (GNT) framework: Flare-occupancy Mask Generation (FMG), View Sampler (VS), and Point Sampler (PS). To overcome the impracticality of capturing both flare-corrupted and flare-free data, we introduce a masking loss function that utilizes mask information in an unsupervised setting. Additionally, we present a 3D multi-view flare dataset, comprising 17 real flare scenes with 782 images, 80 real flare patterns, and their corresponding annotated flare-occupancy masks. To our knowledge, this is the first work to address flare removal within a Neural Radiance Fields (NeRF) framework.
- Abstract（参考訳）: フレア(英: Flare)は、レンズシステム内の望ましくない散乱と反射によって生じる光学現象であり、撮像において重要な課題である。
ハロース、ストリークス、色出血、ヘイズなどのフレアの多彩なパターンは、フレア除去過程を複雑にしている。
従来の学習法や学習法は、フレア除去が極めて不適切である単一イメージのアプローチに依存しているため、効果が限られている。
フレア除去を多視点画像問題として捉え,フレアアーティファクトのビュー依存性を活用することで,この問題に対処する。
このアプローチは、近隣のビューからの情報を活用して、個々の画像のフレアによって隠された詳細を復元する。
提案するフレームワークであるGN-FR (Generalizable Neural Radiance Fields for Flareectomy) は、レンズフレアの影響を受けやすい入力画像のスパースセットからフレアフリーなビューをレンダリングし、教師なしの方法で異なるシーンをまたいで一般化することができる。
GN-FR は Generalizable NeRF Transformer (GNT) フレームワークにいくつかのモジュールを組み込んでいる: FMG (Fre-occupancy Mask Generation)、VS (View Sampler)、PS (Point Sampler) である。
フレア破損データとフレアフリーデータの両方をキャプチャする非現実性を克服するために,教師なし環境でマスク情報を利用するマスキング損失関数を導入する。
さらに,772枚の画像と80枚の実フレアパターンと,それに対応する注釈付きフレア占有マスクを含む17枚の実フレアシーンからなる3次元多視点フレアデータセットを提案する。
我々の知る限り、これはNeural Radiance Fields(NeRF)フレームワークでフレア除去に対処する最初の試みである。
関連論文リスト
- MFDNet: Multi-Frequency Deflare Network for Efficient Nighttime Flare Removal [39.70102431268123]
ラプラシアンピラミッドに基づくMFDNet(MFDNet)を提案する。
我々のネットワークは、フレア崩壊した画像を低周波帯と高周波帯に分解し、画像内の照明と内容情報を効果的に分離する。
実験により,本手法は実空間および合成画像の夜間フレア除去において,最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-06-26T05:31:36Z) - Harmonizing Light and Darkness: A Symphony of Prior-guided Data Synthesis and Adaptive Focus for Nighttime Flare Removal [44.35766203309201]
インセンス光源は、夜間に撮影画像にフレアを発生させることが多く、視覚的品質を劣化させ、下流の用途に悪影響を及ぼす。
効果的なフレア除去ネットワークをトレーニングするためには、信頼できるデータセットが不可欠である。
フレアの明るさが照明法則に合致するマルチフレア画像を含むフレア7K*という先行誘導型データセットを合成する。
クリーンな背景領域を適応的にマスキングし,フレアに強く影響された領域にフォーカスするモデルを支援するためのプラグイン・アンド・プレイ適応型フォーカス・モジュール (AFM) を提案する。
論文 参考訳（メタデータ） (2024-03-30T10:37:56Z) - Improving Lens Flare Removal with General Purpose Pipeline and Multiple
Light Sources Recovery [69.71080926778413]
フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。
現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。
本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
論文 参考訳（メタデータ） (2023-08-31T04:58:17Z) - Flare7K++: Mixing Synthetic and Real Datasets for Nighttime Flare
Removal and Beyond [77.72043833102191]
962個の実撮影フレア画像(Flare-R)と7000個の合成フレア画像(Flare7K)からなる夜間フレア除去データセットを初めて導入する。
Flare7Kと比較して、Frare7K++は、合成フレアのみを使用することで、光源周辺の複雑な劣化を取り除くのに特に効果的である。
この問題に対処するために、Frare7K++で光源のアノテーションを付加し、レンズフレアを除去しながら光源を保存するための新しいエンドツーエンドパイプラインを提案する。
論文 参考訳（メタデータ） (2023-06-07T08:27:44Z) - Nighttime Smartphone Reflective Flare Removal Using Optical Center
Symmetry Prior [81.64647648269889]
反射フレア(英: Reflective flare)は、レンズの内部に光が反射し、明るい点や「ゴースト効果」を引き起こす現象である。
我々は、反射フレアと光源が常にレンズの光学中心の周囲に対称であることを示す光中心対称性を事前に提案する。
多様なリアルな反射フレアパターンを含むブラケットフレアと呼ばれる最初の反射フレア除去データセットを作成します。
論文 参考訳（メタデータ） (2023-03-27T09:44:40Z) - Aleth-NeRF: Low-light Condition View Synthesis with Concealing Fields [65.96818069005145]
ビューアー中心のバニラNeRFは、表示方向の3D位置からの発光としてのみレンダリングプロセスを単純化する。
古代ギリシア人の排ガス理論に触発され、我々はバニラ・ネRFにわずかな修正を加え、低照度シーンの複数の視点で訓練した。
我々は、ボリュームレンダリングの段階で光の輸送を減らし、サロゲートの概念であるConcealing Fieldsを導入する。
論文 参考訳（メタデータ） (2023-03-10T09:28:09Z) - Flare7K: A Phenomenological Nighttime Flare Removal Dataset [83.38205781536578]
最初の夜間フレア除去データセットであるFrare7Kを紹介する。
25種類の散乱フレアと10種類の反射フレアからなる、5,000個の散乱と2,000個の反射フレア画像を提供する。
ペア化されたデータにより、現実世界で撮影されたフレア崩壊画像の復元を効果的に行うことができる。
論文 参考訳（メタデータ） (2022-10-12T20:17:24Z) - How to Train Neural Networks for Flare Removal [45.51943926089249]
ニューラルネットワークをトレーニングして、初めてレンズフレアを取り除きます。
我々のデータ合成手法は正確なフレア除去に不可欠である。
我々の技術で訓練されたモデルは、様々なシーン、照明条件、カメラの実際のレンズフレアによく一般化される。
論文 参考訳（メタデータ） (2020-11-25T02:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。