論文の概要: Dynamic Fusion Network For Light Field Depth Estimation

• arxiv url: http://arxiv.org/abs/2104.05969v1
• Date: Tue, 13 Apr 2021 06:45:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-14 23:07:10.055995
• Title: Dynamic Fusion Network For Light Field Depth Estimation
• Title（参考訳）: 光深度推定のための動的核融合ネットワーク
• Authors: Yongri Piao, Yukun Zhang, Miao Zhang, Xinxin Ji
• Abstract要約: 本稿では,RGBデータと焦点スタックをフレームワークに組み込んだ動的マルチモーダル学習戦略を提案する。 提案手法の成功は,2つのデータセット上でのアートパフォーマンスの達成によって実証される。
• 参考スコア（独自算出の注目度）: 32.64928379844675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Focus based methods have shown promising results for the task of depth estimation. However, most existing focus based depth estimation approaches depend on maximal sharpness of the focal stack. Out of focus information in the focal stack poses challenges for this task. In this paper, we propose a dynamically multi modal learning strategy which incorporates RGB data and the focal stack in our framework. Our goal is to deeply excavate the spatial correlation in the focal stack by designing the spatial correlation perception module and dynamically fuse multi modal information between RGB data and the focal stack in a adaptive way by designing the multi modal dynamic fusion module. The success of our method is demonstrated by achieving the state of the art performance on two datasets. Furthermore, we test our network on a set of different focused images generated by a smart phone camera to prove that the proposed method not only broke the limitation of only using light field data, but also open a path toward practical applications of depth estimation on common consumer level cameras data.
• Abstract（参考訳）: フォーカスベース手法は深さ推定のタスクに有望な結果を示している。 しかしながら、既存のフォーカスベース深度推定手法のほとんどは焦点スタックの最大鋭さに依存する。 focalスタックのフォーカス情報の欠如は、このタスクの課題を提起する。 本稿では,RGBデータと焦点スタックを組み込んだ動的マルチモーダル学習手法を提案する。 本研究では,空間相関知覚モジュールの設計と,マルチモーダル動的融合モジュールの設計により,rgbデータと焦点スタック間のマルチモーダル情報を動的に融合することにより,焦点スタックの空間相関を深く掘り下げることを目的とする。 提案手法の成功は,2つのデータセット上でのアートパフォーマンスの達成によって実証される。 さらに,提案手法が光界データのみを用いた制限を破るだけでなく,一般消費者レベルのカメラデータに対する深度推定の実用化に向けた道を開くことを証明するために,スマートフォンカメラが生成した異なる焦点画像のセットを用いてネットワークをテストした。

関連論文リスト

• Depth Estimation Based on 3D Gaussian Splatting Siamese Defocus [14.354405484663285]
  本稿では,3次元幾何学における深さ推定のための3次元ガウススプラッティングとシームズネットワークに基づく自己教師型フレームワークを提案する。 提案したフレームワークは、人工的に合成されたデータセットと実際のぼやけたデータセットの両方で検証されている。
  論文  参考訳（メタデータ） (2024-09-18T21:36:37Z)
• Learning Monocular Depth from Focus with Event Focal Stack [6.200121342586474]
  イベントフォカルスタックからスパース深さを推定するEDFFネットワークを提案する。 イベントボクセルグリッドを用いて、強度変化情報とプロジェクトイベント時間表面を深度領域にエンコードする。 上記の情報を融合させるために、Focal-Distance-Guided Cross-Modal Attention Moduleが提示される。
  論文  参考訳（メタデータ） (2024-05-11T07:54:49Z)
• Towards Real-World Focus Stacking with Deep Learning [97.34754533628322]
  焦点ブラケットを用いた94個の高解像度原画像のバーストからなる新しいデータセットを提案する。 このデータセットは、現実世界のアプリケーションに十分な長さのバーストを処理できるフォーカススタックのための最初のディープラーニングアルゴリズムをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2023-11-29T17:49:33Z)
• Guided Focal Stack Refinement Network for Light Field Salient Object Detection [20.42257631830276]
  光フィールド・サリエント・オブジェクト検出(SOD)は、光フィールドデータの豊かさに起因する新たな研究方向である。 本稿では,マルチモーダルな特徴を利用して焦点スタックをガイド的に洗練し,新たな焦点スタック改善ネットワークであるGFRNetを提案する。 4つのベンチマークデータセットの実験結果は、GFRNetモデルが12の最先端モデルに対して優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-09T08:32:06Z)
• Fully Self-Supervised Depth Estimation from Defocus Clue [79.63579768496159]
  スパース焦点スタックから深度を純粋に推定する自己教師型フレームワークを提案する。 筆者らのフレームワークは,深度とAIF画像の接地構造の必要性を回避し,より優れた予測を得られることを示す。
  論文  参考訳（メタデータ） (2023-03-19T19:59:48Z)
• Multi-task Learning for Monocular Depth and Defocus Estimations with Real Images [3.682618267671887]
  既存の手法の多くは、深度推定とデフォーカス推定を2つの別々のタスクとして扱い、それら間の強いつながりを無視している。 本稿では、2つのデコーダを持つエンコーダからなるマルチタスク学習ネットワークを提案し、単一の焦点画像から深度とデフォーカスマップを推定する。 我々の深度とデフォーカス推定は、他の最先端アルゴリズムよりも大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-08-21T08:59:56Z)
• Single image deep defocus estimation and its applications [82.93345261434943]
  画像パッチを20レベルの曖昧さの1つに分類するために、ディープニューラルネットワークをトレーニングします。 トレーニングされたモデルは、反復重み付きガイドフィルタを適用して改善するパッチのぼかしを決定するために使用される。 その結果、デフォーカスマップは各ピクセルのぼやけた度合いの情報を運ぶ。
  論文  参考訳（メタデータ） (2021-07-30T06:18:16Z)
• Learning Multi-modal Information for Robust Light Field Depth Estimation [32.64928379844675]
  focalスタックからの既存の学習に基づく深さ推定手法は、デフォーカスのぼやけのため、準最適性能に繋がる。 堅牢な光界深度推定のためのマルチモーダル学習法を提案する。 本手法は,2つの光場データセットにおいて,既存の代表手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-04-13T06:51:27Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Light Field Reconstruction via Deep Adaptive Fusion of Hybrid Lenses [67.01164492518481]
  本稿では,ハイブリットレンズを用いた高分解能光場(LF)画像の再構成問題について検討する。 本稿では,入力の特徴を包括的に活用できる新しいエンドツーエンド学習手法を提案する。 我々のフレームワークは、高解像度なLFデータ取得のコストを削減し、LFデータストレージと送信の恩恵を受ける可能性がある。
  論文  参考訳（メタデータ） (2021-02-14T06:44:47Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。