論文の概要: End-to-end Learning for Joint Depth and Image Reconstruction from Diffracted Rotation

• arxiv url: http://arxiv.org/abs/2204.07076v1
• Date: Thu, 14 Apr 2022 16:14:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 16:09:20.923377
• Title: End-to-end Learning for Joint Depth and Image Reconstruction from Diffracted Rotation
• Title（参考訳）: 回折回転による関節深度と画像再構成のためのエンドツーエンド学習
• Authors: Mazen Mel, Muhammad Siddiqui, and Pietro Zanuttigh
• Abstract要約: 回折回転から深度を学習する新しいエンド・ツー・エンド学習手法を提案する。 提案手法は, 単分子深度推定のタスクにおいて既存の手法よりもはるかに少ない複雑なモデルと少ないトレーニングデータを必要とする。
• 参考スコア（独自算出の注目度）: 10.896567381206715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Monocular depth estimation is still an open challenge due to the ill-posed nature of the problem at hand. Deep learning based techniques have been extensively studied and proved capable of producing acceptable depth estimation accuracy even if the lack of meaningful and robust depth cues within single RGB input images severally limits their performance. Coded aperture-based methods using phase and amplitude masks encode strong depth cues within 2D images by means of depth-dependent Point Spread Functions (PSFs) at the price of a reduced image quality. In this paper, we propose a novel end-to-end learning approach for depth from diffracted rotation. A phase mask that produces a Rotating Point Spread Function (RPSF) as a function of defocus is jointly optimized with the weights of a depth estimation neural network. To this aim, we introduce a differentiable physical model of the aperture mask and exploit an accurate simulation of the camera imaging pipeline. Our approach requires a significantly less complex model and less training data, yet it is superior to existing methods in the task of monocular depth estimation on indoor benchmarks. In addition, we address the problem of image degradation by incorporating a non-blind and non-uniform image deblurring module to recover the sharp all-in-focus image from its RPSF-blurred counterpart.
• Abstract（参考訳）: 単分子深度推定は、まだ手元にある問題の性質が不適切であるため、未解決の課題である。 深層学習に基づく手法が広範に研究され、単一のRGB入力画像における有意義で頑健な深度手がかりが欠如していても、許容できる深度推定精度が得られることが証明されている。 位相・振幅マスクを用いた符号化アパーチャベース手法は,画質の低下にともなう深さ依存性点拡散関数 (psfs) を用いて,2次元画像内の強い深さ手がかりを符号化する。 本稿では,回折回転から深度を学習するための新しいエンドツーエンド学習手法を提案する。 デフォーカスの関数として回転点スプレッド関数(RPSF)を生成する位相マスクを、深さ推定ニューラルネットワークの重みと共同最適化する。 この目的のために,アパーチャマスクの微分可能な物理モデルを導入し,カメライメージングパイプラインの正確なシミュレーションを行う。 提案手法は, 室内ベンチマークにおける単眼深度推定の課題において, 従来手法よりもはるかに少ない複雑なモデルと少ないトレーニングデータを必要とする。 さらに,非盲点および非一様画像デブロアリングモジュールを組み込んで,RPSFブル画像から鮮明なオールインフォーカス画像を取り出すことにより,画像劣化の問題に対処する。

関連論文リスト

• Towards Single-Lens Controllable Depth-of-Field Imaging via All-in-Focus Aberration Correction and Monocular Depth Estimation [19.312034704019634]
  コントロール可能なDepth-of-Field(DoF)イメージングは、重くて高価なハイエンドレンズをベースとした素晴らしい視覚効果を一般的に生み出す。 この研究は、MOS(Minimalist Optical Systems)の2つの大きな限界に焦点を合わせ、計算方法でシングルレンズ制御可能なDoFイメージングを実現する。 All-in-Focus (AiF) 収差補正と単眼深度推定を併用したDepth-aware Controllable DoF Imaging (DCDI) フレームワークを提案する。 Omni-Lens-Fieldにより推定される深度マップ、復元画像、深度対応PSFマップにより、シングルレンズ制御可能なDoFイメージングが可能となる。
  論文  参考訳（メタデータ） (2024-09-15T14:52:16Z)
• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• Blur aware metric depth estimation with multi-focus plenoptic cameras [8.508198765617196]
  多焦点レンズカメラからの原画像のみを用いた新しい距離深度推定アルゴリズムを提案する。 提案手法は、焦点距離の異なる複数のマイクロレンズを用いるマルチフォーカス構成に特に適している。
  論文  参考訳（メタデータ） (2023-08-08T13:38:50Z)
• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• DiffusionDepth: Diffusion Denoising Approach for Monocular Depth Estimation [23.22005119986485]
  DiffusionDepthは、単分子深度推定をデノナイズ拡散過程として再構成する新しいアプローチである。 ランダムな深度分布をモノラルな視覚条件のガイダンスで深度マップに分解する反復的復調過程を学習する。 KITTIとNYU-Depth-V2データセットの実験結果は、シンプルだが効率的な拡散アプローチが、許容可能な推論時間を持つ屋内および屋外の両方のシナリオで最先端のパフォーマンスに達することを示唆している。
  論文  参考訳（メタデータ） (2023-03-09T03:48:24Z)
• Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth with RGB Fusion in Challenging Environments [56.306567220448684]
  本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。 最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
  論文  参考訳（メタデータ） (2021-12-07T15:04:14Z)
• Single image deep defocus estimation and its applications [82.93345261434943]
  画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。 トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。 その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
  論文  参考訳（メタデータ） (2021-07-30T06:18:16Z)
• Robust Consistent Video Depth Estimation [65.53308117778361]
  本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。 本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。 従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
  論文  参考訳（メタデータ） (2020-12-10T18:59:48Z)
• Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration [77.1056200937214]
  本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
  論文  参考訳（メタデータ） (2020-12-01T06:53:57Z)
• Deep Multi-view Depth Estimation with Predicted Uncertainty [11.012201499666503]
  我々は、高密度光フローネットワークを用いて対応を計算し、点雲を三角測量して初期深度マップを得る。 三角測量の精度をさらに高めるため,画像の文脈に基づく初期深度マップを最適化する深度補正ネットワーク(DRN)を導入する。
  論文  参考訳（メタデータ） (2020-11-19T00:22:09Z)
• Spatially-Variant CNN-based Point Spread Function Estimation for Blind Deconvolution and Depth Estimation in Optical Microscopy [6.09170287691728]
  薄めながら平らでない物体の光顕微鏡画像の解像度を向上する手法を提案する。 畳み込みニューラルネットワーク(CNN)を用いた空間変動点スプレッド関数(PSF)モデルのパラメータを推定する。 本手法は,理想条件下での2乗ピアソン相関係数0.99で画像自体からPSFパラメータを復元する。
  論文  参考訳（メタデータ） (2020-10-08T14:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。