論文の概要: Learning Monocular Depth from Focus with Event Focal Stack

• arxiv url: http://arxiv.org/abs/2405.06944v1
• Date: Sat, 11 May 2024 07:54:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 19:07:50.159745
• Title: Learning Monocular Depth from Focus with Event Focal Stack
• Title（参考訳）: イベントフォカルスタックによるフォーカスからの単眼深度学習
• Authors: Chenxu Jiang, Mingyuan Lin, Chi Zhang, Zhenghai Wang, Lei Yu,
• Abstract要約: イベントフォカルスタックからスパース深さを推定するEDFFネットワークを提案する。 イベントボクセルグリッドを用いて、強度変化情報とプロジェクトイベント時間表面を深度領域にエンコードする。 上記の情報を融合させるために、Focal-Distance-Guided Cross-Modal Attention Moduleが提示される。
• 参考スコア（独自算出の注目度）: 6.200121342586474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth from Focus estimates depth by determining the moment of maximum focus from multiple shots at different focal distances, i.e. the Focal Stack. However, the limited sampling rate of conventional optical cameras makes it difficult to obtain sufficient focus cues during the focal sweep. Inspired by biological vision, the event camera records intensity changes over time in extremely low latency, which provides more temporal information for focus time acquisition. In this study, we propose the EDFF Network to estimate sparse depth from the Event Focal Stack. Specifically, we utilize the event voxel grid to encode intensity change information and project event time surface into the depth domain to preserve per-pixel focal distance information. A Focal-Distance-guided Cross-Modal Attention Module is presented to fuse the information mentioned above. Additionally, we propose a Multi-level Depth Fusion Block designed to integrate results from each level of a UNet-like architecture and produce the final output. Extensive experiments validate that our method outperforms existing state-of-the-art approaches.
• Abstract（参考訳）: Focusの深さは、焦点距離の異なる複数のショット、すなわちFocal Stackから最大焦点のモーメントを決定することによって、深さを推定する。 しかし、従来の光学カメラのサンプリングレートに制限があるため、フォーカススイープ中に十分なフォーカス手がかりを得ることは困難である。 生物学的ビジョンにインスパイアされたイベントカメラは、極めて低レイテンシで時間とともに強度の変化を記録し、焦点時間取得のための時間的情報を提供する。 本研究では,イベントフォカルスタックからスパース深さを推定するEDFFネットワークを提案する。 具体的には、イベントボクセルグリッドを用いて、強度変化情報とイベント時間表面を深度領域に投影し、画素ごとの焦点距離情報を保存する。 上記の情報を融合させるために、Focal-Distance-Guided Cross-Modal Attention Moduleが提示される。 さらに,UNetのようなアーキテクチャの各レベルから結果を統合し,最終的な出力を生成する多層深度核融合ブロックを提案する。 大規模な実験により,本手法は既存の最先端手法よりも優れていたことが確認された。

関連論文リスト

• Self-supervised Event-based Monocular Depth Estimation using Cross-modal Consistency [18.288912105820167]
  EMoDepth という自己教師型イベントベース単眼深度推定フレームワークを提案する。 EMoDepthは、ピクセル座標内のイベントに整合した強度フレームからのクロスモーダル一貫性を使用して、トレーニングプロセスを制約する。 推論では、単分子深度予測にはイベントのみを使用する。
  論文  参考訳（メタデータ） (2024-01-14T07:16:52Z)
• Towards Real-World Focus Stacking with Deep Learning [97.34754533628322]
  焦点ブラケットを用いた94個の高解像度原画像のバーストからなる新しいデータセットを提案する。 このデータセットは、現実世界のアプリケーションに十分な長さのバーストを処理できるフォーカススタックのための最初のディープラーニングアルゴリズムをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2023-11-29T17:49:33Z)
• Improving Fast Auto-Focus with Event Polarity [5.376511424333543]
  本稿では,新しい高速かつ高精度なイベントベースフォーカスアルゴリズムを提案する。 パブリックイベントベースのオートフォーカスデータセット(EAD)の実験は、モデルの堅牢性を示している。 焦点の深さが1度未満の正確なフォーカスは、私たちの自作高速フォーカスプラットフォームで0.004秒以内に達成されます。
  論文  参考訳（メタデータ） (2023-03-15T13:36:13Z)
• Uncertainty Guided Depth Fusion for Spike Camera [49.41822923588663]
  スパイクカメラのための単分子およびステレオ深度推定ネットワークの予測を融合させる新しい不確かさ誘導深度融合(UGDF)フレームワークを提案する。 我々のフレームワークは、ステレオスパイク深さ推定がより近い範囲でより良い結果をもたらすという事実に動機づけられている。 従来のカメラ深度推定よりもスパイク深度推定の利点を示すため、我々はCitySpike20Kというスパイク深度データセットに貢献する。
  論文  参考訳（メタデータ） (2022-08-26T13:04:01Z)
• Deep Depth from Focal Stack with Defocus Model for Camera-Setting Invariance [19.460887007137607]
  シーン深度を推定するための入力として焦点スタックを利用する,フォーカス/デフォーカス(DFF)からの学習に基づく深度を提案する。 提案手法は, 合成ドメインギャップに対して頑健であり, 最先端の性能を示す。
  論文  参考訳（メタデータ） (2022-02-26T04:21:08Z)
• Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth with RGB Fusion in Challenging Environments [56.306567220448684]
  本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。 最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
  論文  参考訳（メタデータ） (2021-12-07T15:04:14Z)
• Deep Depth from Focus with Differential Focus Volume [17.505649653615123]
  焦点スタック内の最良焦点画素を抽出し,焦点推定から深度を推定するための畳み込みニューラルネットワーク(CNN)を提案する。 ネットワークの重要な革新は、新しいディープディファレンシャルフォーカスボリューム(DFV)である。
  論文  参考訳（メタデータ） (2021-12-03T04:49:51Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)
• Dynamic Fusion Network For Light Field Depth Estimation [32.64928379844675]
  本稿では,RGBデータと焦点スタックをフレームワークに組み込んだ動的マルチモーダル学習戦略を提案する。 提案手法の成功は,2つのデータセット上でのアートパフォーマンスの達成によって実証される。
  論文  参考訳（メタデータ） (2021-04-13T06:45:11Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• Defocus Blur Detection via Depth Distillation [64.78779830554731]
  初めてDBDに深度情報を導入します。 より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。 我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
  論文  参考訳（メタデータ） (2020-07-16T04:58:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。