論文の概要: Unsupervised Light Field Depth Estimation via Multi-view Feature
Matching with Occlusion Prediction
- arxiv url: http://arxiv.org/abs/2301.08433v1
- Date: Fri, 20 Jan 2023 06:11:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-23 13:49:05.400640
- Title: Unsupervised Light Field Depth Estimation via Multi-view Feature
Matching with Occlusion Prediction
- Title（参考訳）: 閉塞予測を用いた多視点特徴マッチングによる無監督光深度推定
- Authors: Shansi Zhang, Nan Meng and Edmund Y. Lam
- Abstract要約: 監督訓練に十分な深度ラベルを得ることは費用がかかる。
本稿では,LF画像から深度を推定するための教師なしフレームワークを提案する。
実験結果から,本手法は高密度・粗いLF画像に対して優れた性能を示すことが示された。
- 参考スコア（独自算出の注目度）: 9.926231893220063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Depth estimation from light field (LF) images is a fundamental step for some
applications. Recently, learning-based methods have achieved higher accuracy
and efficiency than the traditional methods. However, it is costly to obtain
sufficient depth labels for supervised training. In this paper, we propose an
unsupervised framework to estimate depth from LF images. First, we design a
disparity estimation network (DispNet) with a coarse-to-fine structure to
predict disparity maps from different view combinations by performing
multi-view feature matching to learn the correspondences more effectively. As
occlusions may cause the violation of photo-consistency, we design an occlusion
prediction network (OccNet) to predict the occlusion maps, which are used as
the element-wise weights of photometric loss to solve the occlusion issue and
assist the disparity learning. With the disparity maps estimated by multiple
input combinations, we propose a disparity fusion strategy based on the
estimated errors with effective occlusion handling to obtain the final
disparity map. Experimental results demonstrate that our method achieves
superior performance on both the dense and sparse LF images, and also has
better generalization ability to the real-world LF images.
- Abstract（参考訳）: 光場(LF)画像からの深さ推定は、いくつかの応用において基本的なステップである。
近年,学習に基づく手法は従来の手法よりも精度と効率が向上している。
しかし、指導訓練に十分な深度ラベルを得ることはコストがかかる。
本稿では,LF画像から深度を推定するための教師なしフレームワークを提案する。
まず,多視点特徴マッチングを行い,より効率的に対応を学習することにより,異なる視点の組み合わせから異質マップを予測できる粗粒度から細かな構造を持つ異質度推定ネットワーク(dispnet)を設計する。
咬合がフォトコンシステンシーを損なう可能性があるため、オクルージョン予測ネットワーク(occnet)を設計、オクルージョンマップをオクルージョン損失の要素的な重み付けとして、オクルージョンマップを予測し、オクルージョン問題を解決し、異種学習を支援する。
本稿では,複数の入力の組み合わせによって推定される不一致マップを用いて,推定誤差に基づく不一致融合戦略を提案し,最終不一致マップを得る。
実験により,本手法は高密度かつスパースなLF画像に対して優れた性能を示し,実世界のLF画像に対してより優れた一般化能力を有することが示された。
関連論文リスト
- HomoMatcher: Dense Feature Matching Results with Semi-Dense Efficiency by Homography Estimation [39.48940223810725]
画像ペア間の特徴マッチングは、SLAMのような多くのアプリケーションを駆動するコンピュータビジョンの基本的な問題である。
本稿では,セミセンスマッチングフレームワークにおけるファインマッチングモジュールの強化に焦点をあてる。
我々は、粗いマッチングから得られたパッチ間の視点マッピングを生成するために、軽量で効率的なホモグラフィ推定ネットワークを用いる。
論文 参考訳（メタデータ） (2024-11-11T04:05:12Z) - Revisiting Disparity from Dual-Pixel Images: Physics-Informed Lightweight Depth Estimation [3.6337378417255177]
完成度に基づくネットワークに基づく軽量な分散度推定手法を提案する。
DP固有の相違誤差をパラメトリックにモデル化し、トレーニング中のサンプリングに使用することにより、DPのユニークな特性を取得する。
その結果,提案手法はシステム全体の規模を従来の手法の1/5に減らし,最先端の成果を得た。
論文 参考訳（メタデータ） (2024-11-06T09:03:53Z) - Single Image Depth Prediction Made Better: A Multivariate Gaussian Take [163.14849753700682]
本稿では,画素ごとの深度を連続的にモデル化する手法を提案する。
提案手法の精度(MG)は,KITTI深度予測ベンチマークリーダーボードの上位に位置する。
論文 参考訳（メタデータ） (2023-03-31T16:01:03Z) - CAMERAS: Enhanced Resolution And Sanity preserving Class Activation
Mapping for image saliency [61.40511574314069]
バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。
CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
論文 参考訳（メタデータ） (2021-06-20T08:20:56Z) - Differentiable Diffusion for Dense Depth Estimation from Multi-view
Images [31.941861222005603]
深度マップへの拡散がRGB監督からの多視点再投射誤差を最小限に抑えるように、細かな点集合を最適化することにより、深度を推定する手法を提案する。
また,複雑なシーン再構成に必要な50k以上のポイントを同時に最適化できる効率的な最適化ルーチンを開発した。
論文 参考訳（メタデータ） (2021-06-16T16:17:34Z) - An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。
正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T02:27:55Z) - SAFENet: Self-Supervised Monocular Depth Estimation with Semantic-Aware
Feature Extraction [27.750031877854717]
本稿では,セマンティック情報を活用して光度損失の限界を克服するSAFENetを提案する。
私たちのキーとなるアイデアは、意味的知識と幾何学的知識を統合するセマンティック・アウェア・ディープ機能を活用することです。
KITTIデータセットの実験では、我々の手法が最先端の手法と競合するか、さらに優れています。
論文 参考訳（メタデータ） (2020-10-06T17:22:25Z) - Adaptive confidence thresholding for monocular depth estimation [83.06265443599521]
本稿では,自己教師付ステレオマッチング法から生成されたステレオ画像の擬似地上真実深度マップを利用する新しい手法を提案する。
擬似地底深度マップの信頼度マップを推定し、不正確な擬似地底深度マップによる性能劣化を緩和する。
実験結果から, 最先端の単分子深度推定法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-09-27T13:26:16Z) - A Lightweight Neural Network for Monocular View Generation with
Occlusion Handling [46.74874316127603]
1枚の画像からビュー合成を行うステレオデータペアに基づいて訓練された,非常に軽量なニューラルネットワークアーキテクチャを提案する。
この作業は、挑戦的なKITTIデータセットにおいて、視覚的および計量的に最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2020-07-24T15:29:01Z) - Light Field Spatial Super-resolution via Deep Combinatorial Geometry
Embedding and Structural Consistency Regularization [99.96632216070718]
ハンドヘルドデバイスが取得した光フィールド(LF)画像は通常、空間分解能の低下に悩まされる。
LF画像の高次元空間特性と複雑な幾何学構造は、従来の単一像SRよりも問題をより困難にしている。
本稿では,LF画像の各ビューを個別に超解答する新しい学習ベースLFフレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-05T14:39:57Z) - Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。
本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。
複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
論文 参考訳（メタデータ） (2020-03-31T22:38:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。