論文の概要: Learning Multi-modal Information for Robust Light Field Depth Estimation

• arxiv url: http://arxiv.org/abs/2104.05971v1
• Date: Tue, 13 Apr 2021 06:51:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-14 22:54:15.898479
• Title: Learning Multi-modal Information for Robust Light Field Depth Estimation
• Title（参考訳）: ロバスト光深度推定のためのマルチモーダル情報学習
• Authors: Yongri Piao, Xinxin Ji, Miao Zhang, Yukun Zhang
• Abstract要約: focalスタックからの既存の学習に基づく深さ推定手法は、デフォーカスのぼやけのため、準最適性能に繋がる。 堅牢な光界深度推定のためのマルチモーダル学習法を提案する。 本手法は,2つの光場データセットにおいて,既存の代表手法よりも優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 32.64928379844675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Light field data has been demonstrated to facilitate the depth estimation task. Most learning-based methods estimate the depth infor-mation from EPI or sub-aperture images, while less methods pay attention to the focal stack. Existing learning-based depth estimation methods from the focal stack lead to suboptimal performance because of the defocus blur. In this paper, we propose a multi-modal learning method for robust light field depth estimation. We first excavate the internal spatial correlation by designing a context reasoning unit which separately extracts comprehensive contextual information from the focal stack and RGB images. Then we integrate the contextual information by exploiting a attention-guide cross-modal fusion module. Extensive experiments demonstrate that our method achieves superior performance than existing representative methods on two light field datasets. Moreover, visual results on a mobile phone dataset show that our method can be widely used in daily life.
• Abstract（参考訳）: 深度推定作業を容易にするために光フィールドデータを実証した。 学習に基づく手法の多くは、epiまたはsub-aperture画像から深度を推定するが、focalスタックに注意を払う方法が少ない。 フォーカススタックからの既存の学習に基づく深度推定手法は、デフォーカスのぼかしのために最適以下の性能をもたらす。 本稿では,ロバストな光場深度推定のためのマルチモーダル学習手法を提案する。 まず,焦点スタックとrgb画像から包括的文脈情報を分離して抽出するコンテキスト推論ユニットを設計することにより,内部空間相関を推定する。 次に,注意誘導型クロスモーダル融合モジュールを用いてコンテキスト情報を統合する。 広汎な実験により,本手法は2つの光場データセット上の既存の代表法よりも優れた性能を示した。 さらに、携帯電話のデータセット上での視覚的結果から、我々の手法は日常生活で広く利用することができることが示された。

関連論文リスト

• Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
  様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。 まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。 大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-05T17:55:33Z)
• Towards Real-World Focus Stacking with Deep Learning [97.34754533628322]
  焦点ブラケットを用いた94個の高解像度原画像のバーストからなる新しいデータセットを提案する。 このデータセットは、現実世界のアプリケーションに十分な長さのバーストを処理できるフォーカススタックのための最初のディープラーニングアルゴリズムをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2023-11-29T17:49:33Z)
• Towards Multimodal Depth Estimation from Light Fields [29.26003765978794]
  現在の深さ推定法は、異なる深さの複数の物体が単一のピクセルの色に寄与したとしても、単一の「真の」深さしか考慮していない。 これは、異なる深さの複数の物体が1つのピクセルの色に寄与したとしても、単一の「真の」深さのみを考慮しているデュー・カレント手法であると主張する。 我々は,ピクセルの色に寄与するすべての物体の深さを含む,最初の「マルチモーダル光場深度データセット」をコントリビュートする。
  論文  参考訳（メタデータ） (2022-03-30T18:00:00Z)
• Unsupervised Learning Based Focal Stack Camera Depth Estimation [2.0625936401496237]
  焦点スタックカメラ画像から深度を推定する 教師なし深層学習法。 本手法は,NYU-v2データセットにおいて,単一画像に基づく手法と比較して,より優れた深度推定精度を実現する。
  論文  参考訳（メタデータ） (2022-03-14T02:52:23Z)
• Occlusion-aware Unsupervised Learning of Depth from 4-D Light Fields [50.435129905215284]
  4次元光場処理と解析のための教師なし学習に基づく深度推定法を提案する。 光場データの特異な幾何学構造に関する基礎知識に基づいて,光場ビューのサブセット間の角度コヒーレンスを探索し,深度マップを推定する。 提案手法は,従来の手法と同等の精度で計算コストを低減した深度マップを作成できる。
  論文  参考訳（メタデータ） (2021-06-06T06:19:50Z)
• Dynamic Fusion Network For Light Field Depth Estimation [32.64928379844675]
  本稿では,RGBデータと焦点スタックをフレームワークに組み込んだ動的マルチモーダル学習戦略を提案する。 提案手法の成功は,2つのデータセット上でのアートパフォーマンスの達成によって実証される。
  論文  参考訳（メタデータ） (2021-04-13T06:45:11Z)
• A learning-based view extrapolation method for axial super-resolution [52.748944517480155]
  軸光界分解能は、再焦点によって異なる深さで特徴を区別する能力を指します。 せん断エピポーラ平面画像の軸体積から新しい視点を推定する学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-03-11T07:22:13Z)
• View-consistent 4D Light Field Depth Estimation [37.04038603184669]
  本研究では,光場内の各サブアパーチャ画像の深度マップを一貫したビューで計算する手法を提案する。 提案手法は,EPIを用いて深度エッジを正確に定義し,その辺を中央の視野内で空間的に拡散させる。
  論文  参考訳（メタデータ） (2020-09-09T01:47:34Z)
• Learning Light Field Angular Super-Resolution via a Geometry-Aware Network [101.59693839475783]
  そこで本研究では,広いベースラインを持つスパースサンプリング光場を超解き放つことを目的とした,エンド・ツー・エンドの学習ベースアプローチを提案する。 提案手法は,実行時間48$times$を節約しつつ,2番目のベストメソッドのPSNRを平均2dBまで改善する。
  論文  参考訳（メタデータ） (2020-02-26T02:36:57Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。