論文の概要: Depth Estimation and Image Restoration by Deep Learning from Defocused
Images
- arxiv url: http://arxiv.org/abs/2302.10730v2
- Date: Thu, 27 Jul 2023 19:29:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-31 16:09:32.791317
- Title: Depth Estimation and Image Restoration by Deep Learning from Defocused
Images
- Title（参考訳）: デフォーカス画像からの深層学習による深度推定と画像復元
- Authors: Saqib Nazir, Lorenzo Vaquero, Manuel Mucientes, V\'ictor M. Brea,
Daniela Coltuc
- Abstract要約: 2-headed Depth Estimation and Deblurring Network (2HDED:NET)は、Defocus(DFD)ネットワークからの従来のDepthを拡張し、deepブランチと同じエンコーダを共有するdeblurringブランチを持つ。
提案手法は,室内と屋外のシーンの2つのベンチマーク(NYU-v2とMake3D)で試験に成功した。
- 参考スコア（独自算出の注目度）: 2.6599014990168834
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Monocular depth estimation and image deblurring are two fundamental tasks in
computer vision, given their crucial role in understanding 3D scenes.
Performing any of them by relying on a single image is an ill-posed problem.
The recent advances in the field of Deep Convolutional Neural Networks (DNNs)
have revolutionized many tasks in computer vision, including depth estimation
and image deblurring. When it comes to using defocused images, the depth
estimation and the recovery of the All-in-Focus (Aif) image become related
problems due to defocus physics. Despite this, most of the existing models
treat them separately. There are, however, recent models that solve these
problems simultaneously by concatenating two networks in a sequence to first
estimate the depth or defocus map and then reconstruct the focused image based
on it. We propose a DNN that solves the depth estimation and image deblurring
in parallel. Our Two-headed Depth Estimation and Deblurring Network (2HDED:NET)
extends a conventional Depth from Defocus (DFD) networks with a deblurring
branch that shares the same encoder as the depth branch. The proposed method
has been successfully tested on two benchmarks, one for indoor and the other
for outdoor scenes: NYU-v2 and Make3D. Extensive experiments with 2HDED:NET on
these benchmarks have demonstrated superior or close performances to those of
the state-of-the-art models for depth estimation and image deblurring.
- Abstract（参考訳）: 単眼深度推定と画像劣化はコンピュータビジョンにおける2つの基本的な課題であり、3Dシーンを理解する上で重要な役割を担っている。
ひとつの画像を頼りにすることで、どれでも達成できるというのは、悪い問題です。
近年のDeep Convolutional Neural Networks(DNN)分野の進歩は、深度推定や画像の劣化など、コンピュータビジョンにおける多くのタスクに革命をもたらした。
デフォーカス画像を使用する場合、デフォーカス物理により、オールインフォーカス(Aif)画像の深さ推定と復元が関連する問題となる。
それにもかかわらず、既存のモデルの多くはそれらを別々に扱う。
しかし、これらの問題を解決するために、2つのネットワークを連続して結合し、まず深さやデフォーカスマップを推定し、それに基づいて焦点を合わせた画像を再構成する最近のモデルがある。
本稿では,深度推定と画像劣化を並列に解消するDNNを提案する。
2-headed depth estimation and debluring network (2hded:net) は,defocus (dfd) ネットワークからの従来の深さを,深さ枝と同じエンコーダを共有するdebluringブランチで拡張する。
提案手法は,室内と屋外のシーンの2つのベンチマーク(NYU-v2とMake3D)で試験に成功した。
これらのベンチマークにおける2HDED:NETによる大規模な実験は、深度推定と画像劣化のための最先端モデルよりも優れた、あるいは近い性能を示した。
関連論文リスト
- Depth Estimation Based on 3D Gaussian Splatting Siamese Defocus [14.354405484663285]
本稿では,3次元幾何学における深さ推定のための3次元ガウススプラッティングとシームズネットワークに基づく自己教師型フレームワークを提案する。
提案したフレームワークは、人工的に合成されたデータセットと実際のぼやけたデータセットの両方で検証されている。
論文 参考訳（メタデータ） (2024-09-18T21:36:37Z) - Multi-task Learning for Monocular Depth and Defocus Estimations with
Real Images [3.682618267671887]
既存の手法の多くは、深度推定とデフォーカス推定を2つの別々のタスクとして扱い、それら間の強いつながりを無視している。
本稿では、2つのデコーダを持つエンコーダからなるマルチタスク学習ネットワークを提案し、単一の焦点画像から深度とデフォーカスマップを推定する。
我々の深度とデフォーカス推定は、他の最先端アルゴリズムよりも大幅に性能が向上する。
論文 参考訳（メタデータ） (2022-08-21T08:59:56Z) - Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched
Data [73.9872931307401]
単眼深度推定ネットワークをトレーニングするための弱教師付きフレームワークを提案する。
提案フレームワークは, 共有重量単分子深度推定ネットワークと蒸留用深度再構成ネットワークから構成される。
実験結果から,本手法は教師なし・半教師付き学習ベース方式よりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2021-09-23T18:04:12Z) - VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction [71.83308989022635]
本稿では、ディープニューラルネットワークを用いた従来の2段階フレームワークの複製により、解釈可能性と結果の精度が向上することを提唱する。
ネットワークは,1)深部MVS技術を用いた局所深度マップの局所計算,2)深部マップと画像の特徴を融合させて単一のTSDFボリュームを構築する。
異なる視点から取得した画像間のマッチング性能を改善するために,PosedConvと呼ばれる回転不変な3D畳み込みカーネルを導入する。
論文 参考訳（メタデータ） (2021-08-19T11:33:58Z) - Sparse Auxiliary Networks for Unified Monocular Depth Prediction and
Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。
本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。
sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文 参考訳（メタデータ） (2021-03-30T21:22:26Z) - Defocus Blur Detection via Depth Distillation [64.78779830554731]
初めてDBDに深度情報を導入します。
より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。
我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
論文 参考訳（メタデータ） (2020-07-16T04:58:09Z) - Guiding Monocular Depth Estimation Using Depth-Attention Volume [38.92495189498365]
本研究では,特に屋内環境に広く分布する平面構造を優先するための奥行き推定法を提案する。
2つのポピュラーな屋内データセットであるNYU-Depth-v2とScanNetの実験により,本手法が最先端の深度推定結果を実現することを示す。
論文 参考訳（メタデータ） (2020-04-06T15:45:52Z) - Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。
この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。
我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
論文 参考訳（メタデータ） (2020-01-21T21:56:01Z) - Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。
この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。
我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-01-14T20:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。