論文の概要: Occlusion-aware Unsupervised Learning of Depth from 4-D Light Fields
- arxiv url: http://arxiv.org/abs/2106.03043v1
- Date: Sun, 6 Jun 2021 06:19:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-13 21:31:30.429711
- Title: Occlusion-aware Unsupervised Learning of Depth from 4-D Light Fields
- Title（参考訳）: 4次元光場からの奥行きの教師なし学習
- Authors: Jing Jin and Junhui Hou
- Abstract要約: 4次元光場処理と解析のための教師なし学習に基づく深度推定法を提案する。
光場データの特異な幾何学構造に関する基礎知識に基づいて,光場ビューのサブセット間の角度コヒーレンスを探索し,深度マップを推定する。
提案手法は,従来の手法と同等の精度で計算コストを低減した深度マップを作成できる。
- 参考スコア（独自算出の注目度）: 50.435129905215284
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Depth estimation is a fundamental issue in 4-D light field processing and
analysis. Although recent supervised learning-based light field depth
estimation methods have significantly improved the accuracy and efficiency of
traditional optimization-based ones, these methods rely on the training over
light field data with ground-truth depth maps which are challenging to obtain
or even unavailable for real-world light field data. Besides, due to the
inevitable gap (or domain difference) between real-world and synthetic data,
they may suffer from serious performance degradation when generalizing the
models trained with synthetic data to real-world data. By contrast, we propose
an unsupervised learning-based method, which does not require ground-truth
depth as supervision during training. Specifically, based on the basic
knowledge of the unique geometry structure of light field data, we present an
occlusion-aware strategy to improve the accuracy on occlusion areas, in which
we explore the angular coherence among subsets of the light field views to
estimate initial depth maps, and utilize a constrained unsupervised loss to
learn their corresponding reliability for final depth prediction. Additionally,
we adopt a multi-scale network with a weighted smoothness loss to handle the
textureless areas. Experimental results on synthetic data show that our method
can significantly shrink the performance gap between the previous unsupervised
method and supervised ones, and produce depth maps with comparable accuracy to
traditional methods with obviously reduced computational cost. Moreover,
experiments on real-world datasets show that our method can avoid the domain
shift problem presented in supervised methods, demonstrating the great
potential of our method.
- Abstract（参考訳）: 深さ推定は4次元光場処理と解析の基本的な問題である。
最近の教師付き学習ベース光深度推定法は,従来の最適化ベース光の精度と効率を大幅に向上させたが,実世界の光深度データの取得や入手が困難な地表面深度マップを用いた光深度データのトレーニングに頼っている。
さらに、実世界のデータと合成データの間に必然的なギャップ(ドメイン差)があるため、合成データで訓練されたモデルを実世界のデータに一般化する際に、深刻なパフォーマンス劣化に悩まされる可能性がある。
そこで本研究では,教師なしの学習ベース手法を提案する。
具体的には,光界データの特異な幾何学構造に関する基礎知識に基づいて,光界ビューのサブセット間の角的コヒーレンスを探索し,初期深度マップを推定し,制約のない損失を利用して最終深度予測の信頼性を学習するオクルージョン・アウェア戦略を提案する。
さらに, テクスチャレス領域を扱うために, 重み付き平滑性損失を有するマルチスケールネットワークを採用する。
合成データを用いた実験結果から,提案手法は従来の教師なし手法と教師なし手法との性能ギャップを著しく縮小し,計算コストを低減した従来の手法と同等の精度で深度マップを作成できることがわかった。
さらに,実世界のデータセットを用いた実験により,教師付き手法におけるドメインシフト問題を回避することができ,本手法の大きな可能性を示す。
関連論文リスト
- Uncertainty-guided Optimal Transport in Depth Supervised Sparse-View 3D Gaussian [49.21866794516328]
3次元ガウシアンスプラッティングは、リアルタイムな新規ビュー合成において顕著な性能を示した。
これまでのアプローチでは、3Dガウスの訓練に奥行き監視を取り入れ、オーバーフィッティングを軽減してきた。
本研究では,3次元ガウスの深度分布を可視化する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:18:30Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - Minimizing the Accumulated Trajectory Error to Improve Dataset
Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。
合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。
本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文 参考訳（メタデータ） (2022-11-20T15:49:11Z) - Self-Supervised Light Field Depth Estimation Using Epipolar Plane Images [13.137957601685041]
光深度推定のための自己教師付き学習フレームワークを提案する。
提案手法は,他の最先端手法と比較して,実世界のシナリオにおいて高品質な結果を得ることができる。
論文 参考訳（メタデータ） (2022-03-29T01:18:59Z) - OPAL: Occlusion Pattern Aware Loss for Unsupervised Light Field
Disparity Estimation [22.389903710616508]
教師なしの手法は精度は同等だが、教師付き手法よりもはるかに高い一般化能力と効率が得られる。
本稿では、損失計算のために光場固有の一般的な閉塞パターンを抽出し、符号化するOPALを提案する。
論文 参考訳（メタデータ） (2022-03-04T10:32:18Z) - On the Sins of Image Synthesis Loss for Self-supervised Depth Estimation [60.780823530087446]
画像合成の改善は深度推定の改善を必要としないことを示す。
この発散現象は、データから生じるアレラトリックな不確実性に起因している。
この観察された発散は、以前に報告されたり、深く研究されたりしていない。
論文 参考訳（メタデータ） (2021-09-13T17:57:24Z) - Self-Guided Instance-Aware Network for Depth Completion and Enhancement [6.319531161477912]
既存の手法では,画素ワイド画像の内容とそれに対応する近傍の深度値に基づいて,欠落した深度測定を直接補間する。
本稿では、自己誘導機構を利用して、深度復元に必要なインスタンスレベルの特徴を抽出する自己誘導型インスタンス認識ネットワーク(SG-IANet)を提案する。
論文 参考訳（メタデータ） (2021-05-25T19:41:38Z) - Towards Unpaired Depth Enhancement and Super-Resolution in the Wild [121.96527719530305]
最先端のデータ駆動による深度マップの超解像法は、同じシーンの低解像度と高解像度の深度マップの登録ペアに依存している。
未経験データからの学習に基づく深度マップの強化について考察する。
論文 参考訳（メタデータ） (2021-05-25T16:19:16Z) - Domain Adaptive Monocular Depth Estimation With Semantic Information [13.387521845596149]
ドメインギャップを狭めるためにセマンティック情報を活用した対比トレーニングモデルを提案する。
提案したコンパクトモデルは,複雑な最新モデルに匹敵する最先端性能を実現する。
論文 参考訳（メタデータ） (2021-04-12T18:50:41Z) - Improving Monocular Depth Estimation by Leveraging Structural Awareness
and Complementary Datasets [21.703238902823937]
視覚特徴の空間的関係を利用するために,空間的注意ブロックを有する構造認識ニューラルネットワークを提案する。
第2に,一様点対に対する大域的局所的相対損失を導入し,予測における空間的制約を増大させる。
第3に、先行手法の障害事例の分析に基づいて、挑戦シーンの新たなHard Case (HC) Depthデータセットを収集します。
論文 参考訳（メタデータ） (2020-07-22T08:21:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。