論文の概要: Unsupervised Light Field Depth Estimation via Multi-view Feature Matching with Occlusion Prediction

• arxiv url: http://arxiv.org/abs/2301.08433v2
• Date: Fri, 18 Aug 2023 08:11:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 00:59:36.919342
• Title: Unsupervised Light Field Depth Estimation via Multi-view Feature Matching with Occlusion Prediction
• Title（参考訳）: 閉塞予測を用いた多視点特徴マッチングによる無監督光深度推定
• Authors: Shansi Zhang, Nan Meng and Edmund Y. Lam
• Abstract要約: 監督訓練に十分な深度ラベルを得ることは費用がかかる。 本稿では,LF画像から深度を推定するための教師なしフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 15.421219881815956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth estimation from light field (LF) images is a fundamental step for numerous applications. Recently, learning-based methods have achieved higher accuracy and efficiency than the traditional methods. However, it is costly to obtain sufficient depth labels for supervised training. In this paper, we propose an unsupervised framework to estimate depth from LF images. First, we design a disparity estimation network (DispNet) with a coarse-to-fine structure to predict disparity maps from different view combinations. It explicitly performs multi-view feature matching to learn the correspondences effectively. As occlusions may cause the violation of photo-consistency, we introduce an occlusion prediction network (OccNet) to predict the occlusion maps, which are used as the element-wise weights of photometric loss to solve the occlusion issue and assist the disparity learning. With the disparity maps estimated by multiple input combinations, we then propose a disparity fusion strategy based on the estimated errors with effective occlusion handling to obtain the final disparity map with higher accuracy. Experimental results demonstrate that our method achieves superior performance on both the dense and sparse LF images, and also shows better robustness and generalization on the real-world LF images compared to the other methods.
• Abstract（参考訳）: 光場(LF)画像からの深さ推定は、多くのアプリケーションにとって基本的なステップである。 近年,学習に基づく手法は従来の手法よりも精度と効率が向上している。 しかし、指導訓練に十分な深度ラベルを得ることはコストがかかる。 本稿では,LF画像から深度を推定するための教師なしフレームワークを提案する。 まず,異なるビューの組み合わせから異質なマップを予測するために,粗さから細かな構造を持つdisparity estimation network(dispnet)を設計する。 対応を効果的に学習するために、マルチビュー特徴マッチングを明示的に実行する。 咬合がフォトコンシステンシーに違反する可能性があるため、オクルージョン予測ネットワーク(occnet)を導入し、オクルージョンマップをオクルージョン損失の要素的な重み付けとして予測し、オクルージョン問題を解決し、異種学習を支援する。 そこで,複数の入力の組み合わせによって推定される不一致マップを用いて,推定誤差に基づく不一致融合戦略と効果的な咬合処理を行い,精度の高い最終不一致マップを得る。 実験により,本手法は高密度かつスパースなLF画像に対して優れた性能を示すとともに,実世界のLF画像に対して,他の手法と比較して高いロバスト性および一般化を示すことが示された。

関連論文リスト

• Revisiting Gradient-based Uncertainty for Monocular Depth Estimation [10.502852645001882]
  単分子深度推定モデルに対する勾配に基づく不確実性推定を導入する。 我々は,本手法が再トレーニングを伴わずに不確実性を決定するのに有効であることを実証した。 特に、単分子配列で訓練されたモデルにおいて、最も不確実性が高いため、本手法は関連するアプローチよりも優れる。
  論文  参考訳（メタデータ） (2025-02-09T17:21:41Z)
• Revisiting Disparity from Dual-Pixel Images: Physics-Informed Lightweight Depth Estimation [3.6337378417255177]
  完成度に基づくネットワークに基づく軽量な分散度推定手法を提案する。 DP固有の相違誤差をパラメトリックにモデル化し、トレーニング中のサンプリングに使用することにより、DPのユニークな特性を取得する。 その結果,提案手法はシステム全体の規模を従来の手法の1/5に減らし,最先端の成果を得た。
  論文  参考訳（メタデータ） (2024-11-06T09:03:53Z)
• Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
  本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。 提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
  論文  参考訳（メタデータ） (2023-03-31T16:01:03Z)
• CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency [61.40511574314069]
  バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。 CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
  論文  参考訳（メタデータ） (2021-06-20T08:20:56Z)
• Differentiable Diffusion for Dense Depth Estimation from Multi-view Images [31.941861222005603]
  深度マップへの拡散がRGB監督からの多視点再投射誤差を最小限に抑えるように、細かな点集合を最適化することにより、深度を推定する手法を提案する。 また,複雑なシーン再構成に必要な50k以上のポイントを同時に最適化できる効率的な最適化ルーチンを開発した。
  論文  参考訳（メタデータ） (2021-06-16T16:17:34Z)
• An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
  カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。 正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T02:27:55Z)
• SAFENet: Self-Supervised Monocular Depth Estimation with Semantic-Aware Feature Extraction [27.750031877854717]
  本稿では,セマンティック情報を活用して光度損失の限界を克服するSAFENetを提案する。 私たちのキーとなるアイデアは、意味的知識と幾何学的知識を統合するセマンティック・アウェア・ディープ機能を活用することです。 KITTIデータセットの実験では、我々の手法が最先端の手法と競合するか、さらに優れています。
  論文  参考訳（メタデータ） (2020-10-06T17:22:25Z)
• Adaptive confidence thresholding for monocular depth estimation [83.06265443599521]
  本稿では,自己教師付ステレオマッチング法から生成されたステレオ画像の擬似地上真実深度マップを利用する新しい手法を提案する。 擬似地底深度マップの信頼度マップを推定し、不正確な擬似地底深度マップによる性能劣化を緩和する。 実験結果から, 最先端の単分子深度推定法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-09-27T13:26:16Z)
• A Lightweight Neural Network for Monocular View Generation with Occlusion Handling [46.74874316127603]
  1枚の画像からビュー合成を行うステレオデータペアに基づいて訓練された,非常に軽量なニューラルネットワークアーキテクチャを提案する。 この作業は、挑戦的なKITTIデータセットにおいて、視覚的および計量的に最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2020-07-24T15:29:01Z)
• Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization [99.96632216070718]
  ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。 LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。 本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-05T14:39:57Z)
• Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
  深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。 本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。 複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
  論文  参考訳（メタデータ） (2020-03-31T22:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。