論文の概要: Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration

• arxiv url: http://arxiv.org/abs/2012.00301v1
• Date: Tue, 1 Dec 2020 06:53:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-30 19:51:21.849205
• Title: Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration
• Title（参考訳）: Dual Pixel Exploration: 深度推定と画像復元の同時実施
• Authors: Liyuan Pan, Shah Chowdhury, Richard Hartley, Miaomiao Liu, Hongguang Zhang, and Hongdong Li
• Abstract要約: 本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
• 参考スコア（独自算出の注目度）: 77.1056200937214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The dual-pixel (DP) hardware works by splitting each pixel in half and creating an image pair in a single snapshot. Several works estimate depth/inverse depth by treating the DP pair as a stereo pair. However, dual-pixel disparity only occurs in image regions with the defocus blur. The heavy defocus blur in DP pairs affects the performance of matching-based depth estimation approaches. Instead of removing the blur effect blindly, we study the formation of the DP pair which links the blur and the depth information. In this paper, we propose a mathematical DP model which can benefit depth estimation by the blur. These explorations motivate us to propose an end-to-end DDDNet (DP-based Depth and Deblur Network) to jointly estimate the depth and restore the image. Moreover, we define a reblur loss, which reflects the relationship of the DP image formation process with depth information, to regularise our depth estimate in training. To meet the requirement of a large amount of data for learning, we propose the first DP image simulator which allows us to create datasets with DP pairs from any existing RGBD dataset. As a side contribution, we collect a real dataset for further research. Extensive experimental evaluation on both synthetic and real datasets shows that our approach achieves competitive performance compared to state-of-the-art approaches.
• Abstract（参考訳）: デュアルピクセル(DP)ハードウェアは、各ピクセルを半分に分割し、1枚のスナップショットでイメージペアを作成する。 dp対をステレオ対として扱うことで深さ/逆深さを推定するいくつかの作品がある。 しかし、二重画素差はデフォーカスがぼやけた画像領域でのみ発生する。 dp対の重度のデフォーカスぼけは、マッチングに基づく深さ推定手法の性能に影響する。 ブラー効果を盲目的に除去する代わりに,ブラー効果と深度情報をリンクするDPペアの形成について検討する。 本稿では,ボーリングによる深さ推定に有効である数学的DPモデルを提案する。 これらの調査は、画像の深さを共同で見積り、復元するためのエンドツーエンドDDDNet(DPベースのDepth and Deblur Network)を提案する動機となります。 さらに,DP画像形成過程と深度情報との関係を反映した残響損失を定義し,トレーニングにおける深度推定を規則化する。 学習に必要な大量のデータを満たすため,既存のRGBDデータセットからDPペアのデータセットを作成することができる最初のDPイメージシミュレータを提案する。 副次的な貢献として、さらなる研究のために実際のデータセットを収集します。 合成データと実データの両方に対する広範囲な実験評価により,本手法は最先端の手法に比べて競争力が向上することが示された。

関連論文リスト

• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• RA-Depth: Resolution Adaptive Self-Supervised Monocular Depth Estimation [27.679479140943503]
  本研究では,シーン深さのスケール不変性を学習し,自己教師付き単眼深度推定法(RA-Depth)を提案する。 RA-Depthは最先端の性能を達成し、解像度適応の優れた能力を示す。
  論文  参考訳（メタデータ） (2022-07-25T08:49:59Z)
• Unsupervised Visible-light Images Guided Cross-Spectrum Depth Estimation from Dual-Modality Cameras [33.77748026254935]
  クロススペクトル深度推定は、対のデュアルスペクトル画像を用いて、すべての照明条件で深度マップを提供することを目的としている。 本稿では,教師なし可視光画像ガイド型クロススペクトル(熱・可視光,略してTIR-VIS)の奥行き推定フレームワークを提案する。 提案手法は,既存手法と比較して性能が向上する。
  論文  参考訳（メタデータ） (2022-04-30T12:58:35Z)
• Facial Depth and Normal Estimation using Single Dual-Pixel Camera [81.02680586859105]
  DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。 これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。 近年のDPベース深度/正規推定法で最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-11-25T05:59:27Z)
• Improving Single-Image Defocus Deblurring: How Dual-Pixel Images Help Through Multi-Task Learning [48.063176079878055]
  本稿では,2つのサブアパーチャビューをマルチタスクフレームワークに組み込んだシングルイメージデブロアリングネットワークを提案する。 実験により, このマルチタスク戦略は, 最先端デフォーカスデブロリング法よりも+1dBPSNRの改善を達成できることが示された。 これらの高品質DPビューは、リフレクション除去など、他のDPベースのアプリケーションに使用することができる。
  論文  参考訳（メタデータ） (2021-08-11T14:45:15Z)
• PDC: Piecewise Depth Completion utilizing Superpixels [0.0]
  現在のアプローチは、いくつかの既知の欠点のあるCNNベースのメソッドに依存することが多い。 深層学習なしで完全に機能する小説『Piecewise Depth Completion』(PDC)を提案する。 本評価では,提案した処理ステップがKITTIデータセットに与える影響と,本手法の全体的な性能に与える影響について述べる。
  論文  参考訳（メタデータ） (2021-07-14T13:58:39Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• Pixel-Pair Occlusion Relationship Map(P2ORM): Formulation, Inference & Application [20.63938300312815]
  2次元画像における幾何学的閉塞に関する概念(意味論を無視する)を定式化する。 本稿では, 画素対閉塞関係を用いて, 閉塞境界と閉塞方向の両方を統一的に定式化することを提案する。 各種データセットの実験により,本手法が既存の手法よりも優れていることが示された。 また,最新のモノクル深度推定法の性能を一貫して向上する新しい深度マップの改良手法を提案する。
  論文  参考訳（メタデータ） (2020-07-23T15:52:09Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。