論文の概要: Learning Dual-Pixel Alignment for Defocus Deblurring

• arxiv url: http://arxiv.org/abs/2204.12105v1
• Date: Tue, 26 Apr 2022 07:02:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 13:49:29.889980
• Title: Learning Dual-Pixel Alignment for Defocus Deblurring
• Title（参考訳）: デフォーカスデブラリングのためのデュアルピクセルアライメント学習
• Authors: Yu Li, Yaling Yi, Dongwei Ren, Qince Li, Wangmeng Zuo
• Abstract要約: 本稿では,デフォーカス除去のためのDPANet(Dual-Pixel Alignment Network)を提案する。 目に見える鋭い構造やテクスチャを回復しながら、デフォーカスのぼやけを減らし、最先端のデブロアリング法よりも優れている。
• 参考スコア（独自算出の注目度）: 73.80328094662976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is a challenging task to recover all-in-focus image from a single defocus blurry image in real-world applications. On many modern cameras, dual-pixel (DP) sensors create two-image views, based on which stereo information can be exploited to benefit defocus deblurring. Despite existing DP defocus deblurring methods achieving impressive results, they directly take naive concatenation of DP views as input, while neglecting the disparity between left and right views in the regions out of camera's depth of field (DoF). In this work, we propose a Dual-Pixel Alignment Network (DPANet) for defocus deblurring. Generally, DPANet is an encoder-decoder with skip-connections, where two branches with shared parameters in the encoder are employed to extract and align deep features from left and right views, and one decoder is adopted to fuse aligned features for predicting the all-in-focus image. Due to that DP views suffer from different blur amounts, it is not trivial to align left and right views. To this end, we propose novel encoder alignment module (EAM) and decoder alignment module (DAM). In particular, a correlation layer is suggested in EAM to measure the disparity between DP views, whose deep features can then be accordingly aligned using deformable convolutions. And DAM can further enhance the alignment of skip-connected features from encoder and deep features in decoder. By introducing several EAMs and DAMs, DP views in DPANet can be well aligned for better predicting latent all-in-focus image. Experimental results on real-world datasets show that our DPANet is notably superior to state-of-the-art deblurring methods in reducing defocus blur while recovering visually plausible sharp structures and textures.
• Abstract（参考訳）: 実世界のアプリケーションにおいて,単一のデフォーカスぼけ画像からオールインフォーカス画像を復元することは難しい作業である。 多くの現代のカメラでは、デュアルピクセル(DP)センサーが2画像のビューを作成し、デフォーカスを損なうためにステレオ情報を活用できる。 既存のDPデフォーカスデブロアリング法では印象的な結果が得られたが、カメラの深度(DoF)から外れた領域における左と右のビューの差を無視しながら、DPビューの自然な結合を直接入力とする。 本研究では,デフォーカス除去のためのDPANet(Dual-Pixel Alignment Network)を提案する。 一般に、dpanetはスキップ接続を備えたエンコーダデコーダであり、共有パラメータを持つ2つのブランチを使用して左右のビューから深い特徴を抽出・整列し、1つのデコーダを使用して全フォーカス画像を予測する。 DPビューは曖昧な量が異なるため、左右のビューを並べるのは簡単ではない。 そこで本研究では,新しいエンコーダアライメントモジュール(EAM)とデコーダアライメントモジュール(DAM)を提案する。 特に、EAMでは、DPビュー間の格差を測定するために相関層を提案し、その深い特徴を変形可能な畳み込みを用いて一致させることができる。 そしてDAMは、デコーダのエンコーダとディープ機能からスキップ接続された機能のアライメントをさらに強化することができる。 いくつかのEMAとDAMを導入することで、DPANetのDPビューは、潜在するオールインフォーカスイメージをより正確に予測できる。 実世界のデータセットによる実験結果から,私たちのDPANetは,目視可能な鋭い構造やテクスチャを復元しながら,デフォーカスのぼやけを低減する最先端のデブロアリング手法よりも優れていることがわかった。

関連論文リスト

• Passive Snapshot Coded Aperture Dual-Pixel RGB-D Imaging [25.851398356458425]
  単発3Dセンシングは、顕微鏡、医用画像、手術ナビゲーション、自律運転など、多くの応用分野において有用である。 画像レンズに符号化開口とDPセンサを併用したCADS(Coded Aperture Dual-Pixel Sensing)を提案する。 以上の結果から,ALF(All-in-focus)推定では1.5dBPSNRが改善し,DPセンシングでは5-6%の深さ推定精度が得られた。
  論文  参考訳（メタデータ） (2024-02-28T06:45:47Z)
• Defocus Map Estimation and Deblurring from a Single Dual-Pixel Image [54.10957300181677]
  本稿では,1枚のデュアルピクセルイメージを入力として,画像のデフォーカスマップを同時に推定する手法を提案する。 本手法は,デフォーカスマップ推定とぼかし除去の両方において,教師なしでも事前作業を改善する。
  論文  参考訳（メタデータ） (2021-10-12T00:09:07Z)
• Improving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task Learning [48.063176079878055]
  本稿では,2つのサブアパーチャビューをマルチタスクフレームワークに組み込んだシングルイメージデブロアリングネットワークを提案する。 実験により, このマルチタスク戦略は, 最先端デフォーカスデブロリング法よりも+1dBPSNRの改善を達成できることが示された。 これらの高品質DPビューは、リフレクション除去など、他のDPベースのアプリケーションに使用することができる。
  論文  参考訳（メタデータ） (2021-08-11T14:45:15Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration [77.1056200937214]
  本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
  論文  参考訳（メタデータ） (2020-12-01T06:53:57Z)
• Defocus Blur Detection via Depth Distillation [64.78779830554731]
  初めてDBDに深度情報を導入します。 より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。 我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
  論文  参考訳（メタデータ） (2020-07-16T04:58:09Z)
• Defocus Deblurring Using Dual-Pixel Data [41.201653787083735]
  デフォーカスのぼかしは、広い開口部の使用により被写界深度が浅い画像に現れる。 最新のカメラで検出されるデュアルピクセル(DP)センサで利用可能なデータを活用する,効果的なデフォーカスデブロリング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-01T10:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。