論文の概要: Fully Self-Supervised Depth Estimation from Defocus Clue

• arxiv url: http://arxiv.org/abs/2303.10752v2
• Date: Wed, 22 Mar 2023 06:02:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 11:11:58.429948
• Title: Fully Self-Supervised Depth Estimation from Defocus Clue
• Title（参考訳）: Defocus Clue による完全自己監督深度推定
• Authors: Haozhe Si, Bin Zhao, Dong Wang, Yupeng Gao, Mulin Chen, Zhigang Wang, Xuelong Li
• Abstract要約: スパース焦点スタックから深度を純粋に推定する自己教師型フレームワークを提案する。 筆者らのフレームワークは,深度とAIF画像の接地構造の必要性を回避し,より優れた予測を得られることを示す。
• 参考スコア（独自算出の注目度）: 80.93049737624429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth-from-defocus (DFD), modeling the relationship between depth and defocus pattern in images, has demonstrated promising performance in depth estimation. Recently, several self-supervised works try to overcome the difficulties in acquiring accurate depth ground-truth. However, they depend on the all-in-focus (AIF) images, which cannot be captured in real-world scenarios. Such limitation discourages the applications of DFD methods. To tackle this issue, we propose a completely self-supervised framework that estimates depth purely from a sparse focal stack. We show that our framework circumvents the needs for the depth and AIF image ground-truth, and receives superior predictions, thus closing the gap between the theoretical success of DFD works and their applications in the real world. In particular, we propose (i) a more realistic setting for DFD tasks, where no depth or AIF image ground-truth is available; (ii) a novel self-supervision framework that provides reliable predictions of depth and AIF image under the challenging setting. The proposed framework uses a neural model to predict the depth and AIF image, and utilizes an optical model to validate and refine the prediction. We verify our framework on three benchmark datasets with rendered focal stacks and real focal stacks. Qualitative and quantitative evaluations show that our method provides a strong baseline for self-supervised DFD tasks.
• Abstract（参考訳）: 画像におけるデフォーカスパターンとデフォーカスパターンの関係をモデル化したdepth-from-defocus (DFD)は、深さ推定において有望な性能を示した。 近年,複数の自己監督作業が精度の高い地中精度の確保の困難さを克服しようと試みている。 しかし、実際のシナリオではキャプチャできないオールインフォーカス(AIF)イメージに依存している。 このような制限はDFD法の適用を妨げる。 この問題に対処するため,我々は疎focalスタックから深さを推定する完全自己教師付きフレームワークを提案する。 我々は,この枠組みが深度とAIF画像の基盤構造の必要性を回避し,優れた予測を得られることを示し,DFDの理論的成功と実世界におけるその応用とのギャップを埋めることを示す。 特に,提案する (i)DFDタスクのより現実的な設定で、深度やAIF画像の接地構造は利用できない。 (II)困難条件下での深度とAIF画像の信頼性の高い予測を提供する新しい自己超越フレームワーク。 提案フレームワークは、ニューラルネットワークを用いて深度とAIF画像の予測を行い、光学モデルを用いて予測の検証と精査を行う。 我々は、レンダリングされたfocalスタックと実際のfocalスタックを備えた3つのベンチマークデータセットで、フレームワークを検証する。 定性的および定量的評価は,本手法が自己教師型DFDタスクの強力なベースラインを提供することを示している。

関連論文リスト

• Depth Estimation Based on 3D Gaussian Splatting Siamese Defocus [14.354405484663285]
  本稿では,3次元幾何学における深さ推定のための3次元ガウススプラッティングとシームズネットワークに基づく自己教師型フレームワークを提案する。 提案したフレームワークは、人工的に合成されたデータセットと実際のぼやけたデータセットの両方で検証されている。
  論文  参考訳（メタデータ） (2024-09-18T21:36:37Z)
• Self-Supervised Spatially Variant PSF Estimation for Aberration-Aware Depth-from-Defocus [14.383129822833155]
  収差認識に基づくデフォーカスからの深度学習(DfD)のための新しい自己教師型学習法を提案する。 PSF推定では、回転対称なPSFを仮定し、極座標系を導入する。 また、実際のDfDの状況で発生する集中呼吸現象にも対処する。
  論文  参考訳（メタデータ） (2024-02-28T09:07:26Z)
• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• Depth and DOF Cues Make A Better Defocus Blur Detector [27.33757097343283]
  Defocus blur detection(DBD)は、画像内のin-focus領域とout-of-focus領域を分離する。 以前のアプローチでは、デフォーカスのぼやけた領域に焦点をあてた均一な領域を誤って間違えていた。 我々はD-DFFNetと呼ばれるアプローチを提案し、奥行きとDOFの手がかりを暗黙的に組み込む。
  論文  参考訳（メタデータ） (2023-06-20T07:03:37Z)
• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Bridging Unsupervised and Supervised Depth from Focus via All-in-Focus Supervision [10.547816678110417]
  提案手法は、地上の真理深度で監督的に訓練するか、AiF画像で監督的に訓練することができる。 種々の実験において,本手法は定量的かつ定性的に,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-24T17:09:13Z)
• Variational Monocular Depth Estimation for Reliability Prediction [12.951621755732544]
  教師付き学習手法の代替として,単眼深度推定のための自己教師付き学習が広く研究されている。 従来はモデル構造の変更による深度推定の精度向上に成功している。 本稿では, 単眼深度推定のための変分モデルを理論的に定式化し, 推定深度画像の信頼性を推定する。
  論文  参考訳（メタデータ） (2020-11-24T06:23:51Z)
• Defocus Blur Detection via Depth Distillation [64.78779830554731]
  初めてDBDに深度情報を導入します。 より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。 我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
  論文  参考訳（メタデータ） (2020-07-16T04:58:09Z)
• Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
  本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。 モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。 提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
  論文  参考訳（メタデータ） (2019-12-30T10:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。