論文の概要: Learning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel Data

• arxiv url: http://arxiv.org/abs/2012.03255v1
• Date: Sun, 6 Dec 2020 13:12:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 13:54:45.361403
• Title: Learning to Reduce Defocus Blur by Realistically Modeling Dual-Pixel Data
• Title（参考訳）: デュアルピクセルデータによるデフォーカスブラの低減学習
• Authors: Abdullah Abuolaim, Mauricio Delbracio, Damien Kelly, Michael S. Brown, Peyman Milanfar
• Abstract要約: 最近の研究は、現代のデュアルピクセル(DP)センサーで利用可能な2画像ビューを用いて、データ駆動型デブロアリングに関する印象的な結果を示している。 多くのカメラがDPセンサーを搭載しているが、低レベルのDPセンサー画像へのアクセスは限られた数に限られている。 本稿では,リアルDPデータを合成的に生成する手法を提案する。
• 参考スコア（独自算出の注目度）: 42.06108142009718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown impressive results on data-driven defocus deblurring using the two-image views available on modern dual-pixel (DP) sensors. One significant challenge in this line of research is access to DP data. Despite many cameras having DP sensors, only a limited number provide access to the low-level DP sensor images. In addition, capturing training data for defocus deblurring involves a time-consuming and tedious setup requiring the camera's aperture to be adjusted. Some cameras with DP sensors (e.g., smartphones) do not have adjustable apertures, further limiting the ability to produce the necessary training data. We address the data capture bottleneck by proposing a procedure to generate realistic DP data synthetically. Our synthesis approach mimics the optical image formation found on DP sensors and can be applied to virtual scenes rendered with standard computer software. Leveraging these realistic synthetic DP images, we introduce a new recurrent convolutional network (RCN) architecture that can improve deblurring results and is suitable for use with single-frame and multi-frame data captured by DP sensors. Finally, we show that our synthetic DP data is useful for training DNN models targeting video deblurring applications where access to DP data remains challenging.
• Abstract（参考訳）: 最近の研究は、現代のデュアルピクセル(DP)センサーで利用可能な2画像ビューを用いた、データ駆動デフォーカスのデブロリングに関する印象的な結果を示している。 この研究における重要な課題の1つは、DPデータへのアクセスである。 多くのカメラがDPセンサーを搭載しているが、低レベルのDPセンサー画像へのアクセスは限られた数に限られている。 さらに、デフォーカス・デブロアリングのためのトレーニングデータを取得するには、カメラの開口を調整する必要がある時間と手間がかかる。 dpセンサー(例えばスマートフォン)を搭載した一部のカメラは、調整可能な開口部を持たず、必要なトレーニングデータを生成する能力を制限している。 本稿では,リアルDPデータを合成的に生成する手法を提案することで,データの捕捉ボトルネックに対処する。 提案手法は,dpセンサの光学的画像形成を模倣し,標準的なコンピュータソフトウェアでレンダリングされた仮想シーンに適用できる。 これらの現実的な合成dp画像を活用することで,dpセンサで取得した単一フレームおよびマルチフレームデータの利用に適した,デブラリング結果を改善することのできる,新しいリカレント畳み込みネットワーク(rcn)アーキテクチャを提案する。 最後に,DPデータへのアクセスが困難なビデオデブロアアプリケーションを対象としたDNNモデルのトレーニングに有用であることを示す。

関連論文リスト

• Passive Snapshot Coded Aperture Dual-Pixel RGB-D Imaging [25.851398356458425]
  単発3Dセンシングは、顕微鏡、医用画像、手術ナビゲーション、自律運転など、多くの応用分野において有用である。 画像レンズに符号化開口とDPセンサを併用したCADS(Coded Aperture Dual-Pixel Sensing)を提案する。 以上の結果から,ALF(All-in-focus)推定では1.5dBPSNRが改善し,DPセンシングでは5-6%の深さ推定精度が得られた。
  論文  参考訳（メタデータ） (2024-02-28T06:45:47Z)
• Practical cross-sensor color constancy using a dual-mapping strategy [0.0]
  提案手法では,D65条件下では,テストセンサからの単純な白点のみを必要とする。 第2のマッピングフェーズでは、再構成された画像データをスパースに変換し、軽量な多層パーセプトロン(MLP)モデルで最適化する。 このアプローチは、センサの相違を効果的に低減し、主要なクロスセンサー手法と同等の性能を提供する。
  論文  参考訳（メタデータ） (2023-11-20T13:58:59Z)
• Learning Dual-Pixel Alignment for Defocus Deblurring [73.80328094662976]
  本稿では,デフォーカス除去のためのDPANet(Dual-Pixel Alignment Network)を提案する。 目に見える鋭い構造やテクスチャを回復しながら、デフォーカスのぼやけを減らし、最先端のデブロアリング法よりも優れている。
  論文  参考訳（メタデータ） (2022-04-26T07:02:58Z)
• Facial Depth and Normal Estimation using Single Dual-Pixel Camera [81.02680586859105]
  DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。 これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。 近年のDPベース深度/正規推定法で最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-11-25T05:59:27Z)
• Improving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task Learning [48.063176079878055]
  本稿では,2つのサブアパーチャビューをマルチタスクフレームワークに組み込んだシングルイメージデブロアリングネットワークを提案する。 実験により, このマルチタスク戦略は, 最先端デフォーカスデブロリング法よりも+1dBPSNRの改善を達成できることが示された。 これらの高品質DPビューは、リフレクション除去など、他のDPベースのアプリケーションに使用することができる。
  論文  参考訳（メタデータ） (2021-08-11T14:45:15Z)
• Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration [77.1056200937214]
  本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
  論文  参考訳（メタデータ） (2020-12-01T06:53:57Z)
• Defocus Deblurring Using Dual-Pixel Data [41.201653787083735]
  デフォーカスのぼかしは、広い開口部の使用により被写界深度が浅い画像に現れる。 最新のカメラで検出されるデュアルピクセル(DP)センサで利用可能なデータを活用する,効果的なデフォーカスデブロリング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-01T10:38:00Z)
• Replacing Mobile Camera ISP with a Single Deep Learning Model [171.49776472948957]
  PyNETは、きめ細かい画像復元のために設計された新しいピラミッド型CNNアーキテクチャである。 このモデルは、モバイルカメラセンサーから直接得たRAW Bayerデータを、プロのハイエンドDSLRカメラで撮影した写真に変換するように訓練されている。
  論文  参考訳（メタデータ） (2020-02-13T14:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。