論文の概要: Improving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2108.05251v1
• Date: Wed, 11 Aug 2021 14:45:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-12 13:26:59.693419
• Title: Improving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task Learning
• Title（参考訳）: シングルイメージデフォーカスデブラリングの改善 - マルチタスク学習によるデュアルピクセルイメージの活用
• Authors: Abdullah Abuolaim, Mahmoud Afifi, Michael S. Brown
• Abstract要約: 本稿では,2つのサブアパーチャビューをマルチタスクフレームワークに組み込んだシングルイメージデブロアリングネットワークを提案する。 実験により, このマルチタスク戦略は, 最先端デフォーカスデブロリング法よりも+1dBPSNRの改善を達成できることが示された。 これらの高品質DPビューは、リフレクション除去など、他のDPベースのアプリケーションに使用することができる。
• 参考スコア（独自算出の注目度）: 48.063176079878055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many camera sensors use a dual-pixel (DP) design that operates as a rudimentary light field providing two sub-aperture views of a scene in a single capture. The DP sensor was developed to improve how cameras perform autofocus. Since the DP sensor's introduction, researchers have found additional uses for the DP data, such as depth estimation, reflection removal, and defocus deblurring. We are interested in the latter task of defocus deblurring. In particular, we propose a single-image deblurring network that incorporates the two sub-aperture views into a multi-task framework. Specifically, we show that jointly learning to predict the two DP views from a single blurry input image improves the network's ability to learn to deblur the image. Our experiments show this multi-task strategy achieves +1dB PSNR improvement over state-of-the-art defocus deblurring methods. In addition, our multi-task framework allows accurate DP-view synthesis (e.g., ~ 39dB PSNR) from the single input image. These high-quality DP views can be used for other DP-based applications, such as reflection removal. As part of this effort, we have captured a new dataset of 7,059 high-quality images to support our training for the DP-view synthesis task. Our dataset, code, and trained models will be made publicly available at https://github.com/Abdullah-Abuolaim/multi-task-defocus-deblurring-dual-pixel-nimat
• Abstract（参考訳）: 多くのカメラセンサーはデュアルピクセル(dp)デザインを使用しており、1つのキャプチャーでシーンの2つのサブアパーチャービューを提供するルーディメンタリーライトフィールドとして機能する。 DPセンサーはカメラのオートフォーカス性能を改善するために開発された。 DPセンサーの導入以来、深度推定、反射除去、デフォーカス除去などのDPデータに新たな用途が発見されている。 私たちはデフォーカス・デブロリングという後者の課題に興味を持っています。 特に,2つのサブアパーチャビューをマルチタスクフレームワークに組み込む単一画像デブラリングネットワークを提案する。 具体的には、単一のぼやけた入力画像から2つのDPビューを予測することを共同で学習することで、ネットワークが画像を損なう能力を向上させることを示す。 実験により, このマルチタスク戦略は, 最先端デフォーカスデブロリング法よりも+1dBPSNRの改善を達成できることが示された。 さらに,我々のマルチタスクフレームワークは,単一の入力画像から正確なDPビュー合成(例えば,39dB PSNR)を可能にする。 これらの高品質DPビューは、リフレクション除去など、他のDPベースのアプリケーションに使用することができる。 この取り組みの一環として、DPビュー合成タスクのトレーニングを支援するために、7,059個の高品質画像のデータセットを新たに取得した。 私たちのデータセット、コード、トレーニングされたモデルはhttps://github.com/Abdullah-Abuolaim/multi-task-defocus-deblurring-dual-pixel-nimatで公開されます。

関連論文リスト

• Passive Snapshot Coded Aperture Dual-Pixel RGB-D Imaging [25.851398356458425]
  単発3Dセンシングは、顕微鏡、医用画像、手術ナビゲーション、自律運転など、多くの応用分野において有用である。 画像レンズに符号化開口とDPセンサを併用したCADS(Coded Aperture Dual-Pixel Sensing)を提案する。 以上の結果から,ALF(All-in-focus)推定では1.5dBPSNRが改善し,DPセンシングでは5-6%の深さ推定精度が得られた。
  論文  参考訳（メタデータ） (2024-02-28T06:45:47Z)
• Learning Dual-Pixel Alignment for Defocus Deblurring [73.80328094662976]
  本稿では,デフォーカス除去のためのDPANet(Dual-Pixel Alignment Network)を提案する。 目に見える鋭い構造やテクスチャを回復しながら、デフォーカスのぼやけを減らし、最先端のデブロアリング法よりも優れている。
  論文  参考訳（メタデータ） (2022-04-26T07:02:58Z)
• Facial Depth and Normal Estimation using Single Dual-Pixel Camera [81.02680586859105]
  DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。 これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。 近年のDPベース深度/正規推定法で最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-11-25T05:59:27Z)
• Defocus Map Estimation and Deblurring from a Single Dual-Pixel Image [54.10957300181677]
  本稿では,1枚のデュアルピクセルイメージを入力として,画像のデフォーカスマップを同時に推定する手法を提案する。 本手法は,デフォーカスマップ推定とぼかし除去の両方において,教師なしでも事前作業を改善する。
  論文  参考訳（メタデータ） (2021-10-12T00:09:07Z)
• Learning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel Data [42.06108142009718]
  最近の研究は、現代のデュアルピクセル(DP)センサーで利用可能な2画像ビューを用いて、データ駆動型デブロアリングに関する印象的な結果を示している。 多くのカメラがDPセンサーを搭載しているが、低レベルのDPセンサー画像へのアクセスは限られた数に限られている。 本稿では,リアルDPデータを合成的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2020-12-06T13:12:43Z)
• Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration [77.1056200937214]
  本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
  論文  参考訳（メタデータ） (2020-12-01T06:53:57Z)
• Defocus Blur Detection via Depth Distillation [64.78779830554731]
  初めてDBDに深度情報を導入します。 より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。 我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
  論文  参考訳（メタデータ） (2020-07-16T04:58:09Z)
• Defocus Deblurring Using Dual-Pixel Data [41.201653787083735]
  デフォーカスのぼかしは、広い開口部の使用により被写界深度が浅い画像に現れる。 最新のカメラで検出されるデュアルピクセル(DP)センサで利用可能なデータを活用する,効果的なデフォーカスデブロリング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-01T10:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。