論文の概要: Depth Estimation Based on 3D Gaussian Splatting Siamese Defocus

• arxiv url: http://arxiv.org/abs/2409.12323v1
• Date: Wed, 18 Sep 2024 21:36:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 15:26:10.184168
• Title: Depth Estimation Based on 3D Gaussian Splatting Siamese Defocus
• Title（参考訳）: 3次元ガウス平滑化シームズデフォーカスに基づく深さ推定
• Authors: Jinchang Zhang, Ningning Xu, Hao Zhang, Guoyu Lu,
• Abstract要約: 本稿では,3次元幾何学における深さ推定のための3次元ガウススプラッティングとシームズネットワークに基づく自己教師型フレームワークを提案する。 提案したフレームワークは、人工的に合成されたデータセットと実際のぼやけたデータセットの両方で検証されている。
• 参考スコア（独自算出の注目度）: 14.354405484663285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Depth estimation is a fundamental task in 3D geometry. While stereo depth estimation can be achieved through triangulation methods, it is not as straightforward for monocular methods, which require the integration of global and local information. The Depth from Defocus (DFD) method utilizes camera lens models and parameters to recover depth information from blurred images and has been proven to perform well. However, these methods rely on All-In-Focus (AIF) images for depth estimation, which is nearly impossible to obtain in real-world applications. To address this issue, we propose a self-supervised framework based on 3D Gaussian splatting and Siamese networks. By learning the blur levels at different focal distances of the same scene in the focal stack, the framework predicts the defocus map and Circle of Confusion (CoC) from a single defocused image, using the defocus map as input to DepthNet for monocular depth estimation. The 3D Gaussian splatting model renders defocused images using the predicted CoC, and the differences between these and the real defocused images provide additional supervision signals for the Siamese Defocus self-supervised network. This framework has been validated on both artificially synthesized and real blurred datasets. Subsequent quantitative and visualization experiments demonstrate that our proposed framework is highly effective as a DFD method.
• Abstract（参考訳）: 深さ推定は3次元幾何学の基本的な課題である。 立体深度推定は三角法で行うことができるが,グローバル・ローカル情報の統合を必要とする単分子法では容易ではない。 Defocus (DFD) 法では、カメラレンズモデルとパラメータを用いてぼやけた画像から深度情報を復元し、良好な性能を示すことが証明されている。 しかし,これらの手法は,実世界のアプリケーションでは実現不可能に近い深度推定のために,All-In-Focus (AIF) 画像に依存している。 この問題に対処するために,3次元ガウススプラッティングとシームズネットワークに基づく自己教師型フレームワークを提案する。 焦点スタック内の同じシーンの異なる焦点距離におけるブラーレベルを学習することにより、単焦点画像からデフォーカスマップとコンフュージョン円(CoC)を予測し、デフォーカスマップをDepthNetに入力して単眼深度推定を行う。 The 3D Gaussian splatting model renders de focus image using the predict CoC and the different between the real de focus image provide additional supervision signal for the Siamese Defocus self-supervised network。 このフレームワークは、人工的に合成されたデータセットと実際のぼやけたデータセットの両方で検証されている。 その後の定量化および可視化実験により,提案手法がDFD法として有効であることが実証された。

関連論文リスト

• Blur aware metric depth estimation with multi-focus plenoptic cameras [8.508198765617196]
  多焦点レンズカメラからの原画像のみを用いた新しい距離深度推定アルゴリズムを提案する。 提案手法は、焦点距離の異なる複数のマイクロレンズを用いるマルチフォーカス構成に特に適している。
  論文  参考訳（メタデータ） (2023-08-08T13:38:50Z)
• Depth and DOF Cues Make A Better Defocus Blur Detector [27.33757097343283]
  Defocus blur detection(DBD)は、画像内のin-focus領域とout-of-focus領域を分離する。 以前のアプローチでは、デフォーカスのぼやけた領域に焦点をあてた均一な領域を誤って間違えていた。 我々はD-DFFNetと呼ばれるアプローチを提案し、奥行きとDOFの手がかりを暗黙的に組み込む。
  論文  参考訳（メタデータ） (2023-06-20T07:03:37Z)
• Fully Self-Supervised Depth Estimation from Defocus Clue [79.63579768496159]
  スパース焦点スタックから深度を純粋に推定する自己教師型フレームワークを提案する。 筆者らのフレームワークは,深度とAIF画像の接地構造の必要性を回避し,より優れた予測を得られることを示す。
  論文  参考訳（メタデータ） (2023-03-19T19:59:48Z)
• Learning Depth from Focus in the Wild [16.27391171541217]
  単一焦点スタックからの畳み込みニューラルネットワークによる深度推定を提案する。 本手法では,画像アライメントにおいても,奥行きマップをエンドツーエンドで推定することができる。 提案するネットワークの一般化のために,商用カメラの特徴を現実的に再現するシミュレータを開発した。
  論文  参考訳（メタデータ） (2022-07-20T05:23:29Z)
• Single image deep defocus estimation and its applications [82.93345261434943]
  画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。 トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。 その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
  論文  参考訳（メタデータ） (2021-07-30T06:18:16Z)
• Depth-conditioned Dynamic Message Propagation for Monocular 3D Object Detection [86.25022248968908]
  モノラル3Dオブジェクト検出の問題を解決するために、コンテキストと奥行きを認識する特徴表現を学びます。 KITTIベンチマークデータセットにおける単眼的アプローチにおける最新の結果を示す。
  論文  参考訳（メタデータ） (2021-03-30T16:20:24Z)
• Defocus Blur Detection via Depth Distillation [64.78779830554731]
  初めてDBDに深度情報を導入します。 より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。 我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
  論文  参考訳（メタデータ） (2020-07-16T04:58:09Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)
• Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
  本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。 モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。 提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
  論文  参考訳（メタデータ） (2019-12-30T10:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。