論文の概要: Dual-Pixel Raindrop Removal
- arxiv url: http://arxiv.org/abs/2210.13321v1
- Date: Mon, 24 Oct 2022 15:20:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 17:46:10.732531
- Title: Dual-Pixel Raindrop Removal
- Title(参考訳): デュアルピクセル雨滴除去
- Authors: Yizhou Li, Yusuke Monno and Masatoshi Okutomi
- Abstract要約: 雨滴除去対策としてDual-Pixel (DP) センサを用いた最初の手法を提案する。
我々の重要な観察は、ガラス窓に取り付けられた雨滴が、DPの左半減と右半減の画像に顕著な相違をもたらすことである。
本稿では,DP雨滴検出とDP溶雨滴除去からなるDP雨滴除去ネットワーク(DPRRN)を提案する。
- 参考スコア(独自算出の注目度): 12.409678688539868
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Removing raindrops in images has been addressed as a significant task for
various computer vision applications. In this paper, we propose the first
method using a Dual-Pixel (DP) sensor to better address the raindrop removal.
Our key observation is that raindrops attached to a glass window yield
noticeable disparities in DP's left-half and right-half images, while almost no
disparity exists for in-focus backgrounds. Therefore, DP disparities can be
utilized for robust raindrop detection. The DP disparities also brings the
advantage that the occluded background regions by raindrops are shifted between
the left-half and the right-half images. Therefore, fusing the information from
the left-half and the right-half images can lead to more accurate background
texture recovery. Based on the above motivation, we propose a DP Raindrop
Removal Network (DPRRN) consisting of DP raindrop detection and DP fused
raindrop removal. To efficiently generate a large amount of training data, we
also propose a novel pipeline to add synthetic raindrops to real-world
background DP images. Experimental results on synthetic and real-world datasets
demonstrate that our DPRRN outperforms existing state-of-the-art methods,
especially showing better robustness to real-world situations. Our source code
and datasets are available at http://www.ok.sc.e.titech.ac.jp/res/SIR/.
- Abstract(参考訳): 画像中の雨滴の除去は、様々なコンピュータビジョンアプリケーションにとって重要な課題である。
本稿では,雨滴除去対策としてDual-Pixel (DP) センサを用いた最初の手法を提案する。
ガラス窓に付着した雨滴は,dpの左半身と右半身のイメージに顕著に差を生じさせるが,焦点内背景には差がほとんどない。
そのため, DPの相違は強雨滴検出に有効である。
DPの相違は、雨滴による隠蔽された背景領域が左半減画像と右半減画像の間で移動するという利点をもたらす。
したがって、左半画像と右半画像からの情報を融合することで、より正確な背景テクスチャの復元が可能になる。
以上のモチベーションに基づいて,DP雨滴検出とDP溶雨滴除去からなるDP雨滴除去ネットワーク(DPRRN)を提案する。
また,大量のトレーニングデータを効率的に生成するために,実世界の背景DP画像に合成雨滴を追加する新しいパイプラインを提案する。
合成および実世界のデータセットによる実験結果から、我々のDPRRNは既存の最先端の手法よりも優れており、特に実世界の状況に対してより堅牢であることが示された。
ソースコードとデータセットはhttp://www.ok.sc.e.で利用可能です。
titech.ac.jp/res/SIR/
関連論文リスト
- Sparse Sampling Transformer with Uncertainty-Driven Ranking for Unified
Removal of Raindrops and Rain Streaks [17.00078021737863]
実際の世界では、雨による画像劣化は、しばしば雨害と雨滴の組み合わせを示し、それによって根底にあるクリーンなイメージを回復する課題が増大する。
本稿は,グローバルな視点における劣化関係を学習し,モデル化するための,効率的かつ柔軟なメカニズムを提案することを目的とする。
論文 参考訳(メタデータ) (2023-08-27T16:33:11Z) - Light Field Raindrop Removal via 4D Re-sampling [25.12008345434512]
光電界雨滴除去(LFRR)は、光電場(LF)の雨滴で隠れた背景領域を復元することを目的としている。
降雨水は、LFの背景よりも大きな相違があるため、降雨水の影響を受けないテクスチャの細部の大部分は、他の視点で見ることができる。
本研究では,入力降雨量LFにおける降雨量フリー領域の相補的画素情報を利用して,新しいLFRRネットワークを提案する。
論文 参考訳(メタデータ) (2022-05-26T05:30:59Z) - From heavy rain removal to detail restoration: A faster and better
network [26.60300982543502]
そこで本研究では,DPENetと呼ばれる2段階進行性拡張ネットワークを導入し,効率的なデラリニングを実現する。
本手法は,雨害除去ネットワーク(R$2$Net)と,無雨画像のテクスチャ的詳細を復元する詳細再構成ネットワーク(DRNet)の2つの重要なモジュールから構成される。
論文 参考訳(メタデータ) (2022-05-07T04:55:05Z) - Unpaired Adversarial Learning for Single Image Deraining with Rain-Space
Contrastive Constraints [61.40893559933964]
我々は,CDR-GAN という名称の GAN フレームワークにおいて,比較学習手法により,経験者の相互特性を探索する有効な非経験的 SID 手法を開発した。
提案手法は, 合成および実世界の両方のデータセットにおいて, 既存の非対効果のデラミニング手法に対して良好に動作し, 完全教師付きモデルや半教師付きモデルよりも優れている。
論文 参考訳(メタデータ) (2021-09-07T10:00:45Z) - Structure-Preserving Deraining with Residue Channel Prior Guidance [33.41254475191555]
多くのハイレベルコンピュータビジョンタスクにおいて、単一画像のデアライニングが重要である。
RCP誘導を用いた構造保存評価ネットワーク(SPDNet)を提案する。
SPDNetは、RCPガイダンスの下で、明瞭で正確な構造を持つ高品質な無雨画像を直接生成する。
論文 参考訳(メタデータ) (2021-08-20T09:09:56Z) - RCDNet: An Interpretable Rain Convolutional Dictionary Network for
Single Image Deraining [49.99207211126791]
雨畳み込み辞書ネットワーク(RCDNet)と呼ばれる,新しい深層アーキテクチャを具体的に構築する。
RCDNetは雨害の本質的な先行を埋め込んでおり、明確な解釈性を持っている。
このような解釈可能なネットワークをエンドツーエンドにトレーニングすることにより、関連するすべてのレインカーネルと近位演算子を自動的に抽出することができる。
論文 参考訳(メタデータ) (2021-07-14T16:08:11Z) - Dual Attention-in-Attention Model for Joint Rain Streak and Raindrop
Removal [103.4067418083549]
降雨量と降雨量の両方を同時に除去する2つのDAMを含むDual Attention-in-Attention Model (DAiAM)を提案する。
提案手法は,降雨量と降雨量とを同時に除去できるだけでなく,両タスクの最先端性能も達成できる。
論文 参考訳(メタデータ) (2021-03-12T03:00:33Z) - Dual Pixel Exploration: Simultaneous Depth Estimation and Image
Restoration [77.1056200937214]
本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。
本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
論文 参考訳(メタデータ) (2020-12-01T06:53:57Z) - From Rain Generation to Rain Removal [67.71728610434698]
雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。
降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。
総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
論文 参考訳(メタデータ) (2020-08-08T18:56:51Z) - Conditional Variational Image Deraining [158.76814157115223]
キャラクタリゼーション性能向上のための条件変分画像レイニング(CVID)ネットワーク
本研究では,各画像の降雨密度マップを推定するための空間密度推定(SDE)モジュールを提案する。
合成および実世界のデータセットを用いた実験により,提案したCVIDネットワークは,画像のデライニングにおける従来の決定論的手法よりもはるかに優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2020-04-23T11:51:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。