論文の概要: Towards Multimodal Depth Estimation from Light Fields
- arxiv url: http://arxiv.org/abs/2203.16542v1
- Date: Wed, 30 Mar 2022 18:00:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-02 13:06:41.712382
- Title: Towards Multimodal Depth Estimation from Light Fields
- Title（参考訳）: 光場からのマルチモーダル深度推定に向けて
- Authors: Titus Leistner, Radek Mackowiak, Lynton Ardizzone, Ullrich K\"othe,
Carsten Rother
- Abstract要約: 現在の深さ推定法は、異なる深さの複数の物体が単一のピクセルの色に寄与したとしても、単一の「真の」深さしか考慮していない。
これは、異なる深さの複数の物体が1つのピクセルの色に寄与したとしても、単一の「真の」深さのみを考慮しているデュー・カレント手法であると主張する。
我々は,ピクセルの色に寄与するすべての物体の深さを含む,最初の「マルチモーダル光場深度データセット」をコントリビュートする。
- 参考スコア（独自算出の注目度）: 29.26003765978794
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Light field applications, especially light field rendering and depth
estimation, developed rapidly in recent years. While state-of-the-art light
field rendering methods handle semi-transparent and reflective objects well,
depth estimation methods either ignore these cases altogether or only deliver a
weak performance. We argue that this is due current methods only considering a
single "true" depth, even when multiple objects at different depths contributed
to the color of a single pixel. Based on the simple idea of outputting a
posterior depth distribution instead of only a single estimate, we develop and
explore several different deep-learning-based approaches to the problem.
Additionally, we contribute the first "multimodal light field depth dataset"
that contains the depths of all objects which contribute to the color of a
pixel. This allows us to supervise the multimodal depth prediction and also
validate all methods by measuring the KL divergence of the predicted
posteriors. With our thorough analysis and novel dataset, we aim to start a new
line of depth estimation research that overcomes some of the long-standing
limitations of this field.
- Abstract（参考訳）: 近年,光場応用,特に光場レンダリングと深度推定が急速に進展している。
最先端の光フィールドレンダリングは半透過的および反射的オブジェクトをうまく処理するが、深さ推定法はこれらのケースを完全に無視するか、弱いパフォーマンスしか提供しない。
これは、異なる深度の複数の物体が1つのピクセルの色に寄与した場合でも、単一の「真の」深さのみを考慮に入れる現在の方法であると主張する。
1つの推定値ではなく、後深度分布を出力するという単純なアイデアに基づいて、この問題に対するいくつかの異なるディープラーニングベースのアプローチを開発し、検討する。
さらに、画素の色に寄与する全ての物体の深さを含む最初の「マルチモーダル光場深度データセット」をコントリビュートする。
これにより、マルチモーダル深度予測を監督し、予測後部のKL分散を測定することにより、すべての手法を検証することができる。
徹底的な分析と新しいデータセットによって、この分野の長年の制限を克服する新たな深さ推定研究を始めることを目標としています。
関連論文リスト
- Transparent Object Depth Completion [11.825680661429825]
理解と操作のための透明な物体の認識は、依然として大きな課題である。
深度マップに大きく依存する既存のロボットグリップ法は、その独特の視覚特性のために透明な物体には適さない。
本稿では,一視点RGB-Dに基づく深度推定と多視点深度推定の長所を組み合わせた,透明物体深度補完のためのエンドツーエンドネットワークを提案する。
論文 参考訳（メタデータ） (2024-05-24T07:38:06Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging
Scenarios [103.72094710263656]
本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。
本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。
得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
論文 参考訳（メタデータ） (2024-02-19T04:39:16Z) - Depth Insight -- Contribution of Different Features to Indoor
Single-image Depth Estimation [8.712751056826283]
単分子深度推定設定において、既知の深さのキューの相対的寄与を定量化する。
本研究は, 形状, テクスチャ, 色, 彩度の単一特徴を分離して, 深度を推定するために, 特徴抽出技術を用いた。
論文 参考訳（メタデータ） (2023-11-16T17:38:21Z) - Blur aware metric depth estimation with multi-focus plenoptic cameras [8.508198765617196]
多焦点レンズカメラからの原画像のみを用いた新しい距離深度推定アルゴリズムを提案する。
提案手法は、焦点距離の異なる複数のマイクロレンズを用いるマルチフォーカス構成に特に適している。
論文 参考訳（メタデータ） (2023-08-08T13:38:50Z) - Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。
双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。
本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
論文 参考訳（メタデータ） (2021-07-29T16:30:33Z) - Learning Multi-modal Information for Robust Light Field Depth Estimation [32.64928379844675]
focalスタックからの既存の学習に基づく深さ推定手法は、デフォーカスのぼやけのため、準最適性能に繋がる。
堅牢な光界深度推定のためのマルチモーダル学習法を提案する。
本手法は,2つの光場データセットにおいて,既存の代表手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2021-04-13T06:51:27Z) - Efficient Depth Completion Using Learned Bases [94.0808155168311]
深度補正のための新しい大域的幾何制約を提案する。
低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
論文 参考訳（メタデータ） (2020-12-02T11:57:37Z) - View-consistent 4D Light Field Depth Estimation [37.04038603184669]
本研究では,光場内の各サブアパーチャ画像の深度マップを一貫したビューで計算する手法を提案する。
提案手法は,EPIを用いて深度エッジを正確に定義し,その辺を中央の視野内で空間的に拡散させる。
論文 参考訳（メタデータ） (2020-09-09T01:47:34Z) - Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
カラービデオから多フレーム深度を推定する新しい学習手法を提案する。
本手法は深度推定精度において最先端の手法より優れる。
論文 参考訳（メタデータ） (2020-04-02T07:10:45Z) - Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。
この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。
我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-01-14T20:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。