論文の概要: Intrinsic Image Decomposition for Robust Self-supervised Monocular Depth Estimation on Reflective Surfaces
- arxiv url: http://arxiv.org/abs/2503.22209v1
- Date: Fri, 28 Mar 2025 07:56:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-31 15:32:05.200875
- Title: Intrinsic Image Decomposition for Robust Self-supervised Monocular Depth Estimation on Reflective Surfaces
- Title（参考訳）: 反射面上のロバスト自己監督単眼深度推定のための固有画像分解法
- Authors: Wonhyeok Choi, Kyumin Hwang, Minwoo Choi, Kiljoon Han, Wonjoon Choi, Mingyu Shin, Sunghoon Im,
- Abstract要約: 自己教師付き単分子深度推定(SSMDE)は深層学習の分野で注目を集めている。
固有画像分解をSSMDEに組み込んだ新しいフレームワークを提案する。
本手法は単眼深度推定と内在画像分解の両方を相乗的に訓練する。
- 参考スコア（独自算出の注目度）: 10.557788087220509
- License:
- Abstract: Self-supervised monocular depth estimation (SSMDE) has gained attention in the field of deep learning as it estimates depth without requiring ground truth depth maps. This approach typically uses a photometric consistency loss between a synthesized image, generated from the estimated depth, and the original image, thereby reducing the need for extensive dataset acquisition. However, the conventional photometric consistency loss relies on the Lambertian assumption, which often leads to significant errors when dealing with reflective surfaces that deviate from this model. To address this limitation, we propose a novel framework that incorporates intrinsic image decomposition into SSMDE. Our method synergistically trains for both monocular depth estimation and intrinsic image decomposition. The accurate depth estimation facilitates multi-image consistency for intrinsic image decomposition by aligning different view coordinate systems, while the decomposition process identifies reflective areas and excludes corrupted gradients from the depth training process. Furthermore, our framework introduces a pseudo-depth generation and knowledge distillation technique to further enhance the performance of the student model across both reflective and non-reflective surfaces. Comprehensive evaluations on multiple datasets show that our approach significantly outperforms existing SSMDE baselines in depth prediction, especially on reflective surfaces.
- Abstract（参考訳）: 自己教師付き単眼深度推定 (SSMDE) は, 地中真理深度マップを必要とせず, 深度を推定する深度学習の分野で注目されている。
このアプローチは一般的に、推定深度から生成された合成画像と原画像との間の光度一貫性損失を使用するため、広範なデータセット取得の必要性が軽減される。
しかし、従来の測光的整合性損失はランベルトの仮定に依存しており、しばしばこのモデルから逸脱する反射面を扱う際に重大な誤差をもたらす。
そこで本研究では,SSMDEに固有の画像分解を組み込んだ新しいフレームワークを提案する。
本手法は単眼深度推定と内在画像分解の両方を相乗的に訓練する。
正確な深度推定は、異なる視野座標系を整列させることにより、固有画像分解の多重画像整合性を促進する一方、分解過程は反射領域を識別し、劣化した勾配を深度訓練プロセスから除外する。
さらに, 反射面および非反射面の両方において, 学生モデルの性能を高めるために, 擬似深度生成および知識蒸留技術を導入する。
複数のデータセットに対する包括的評価は,既存のSSMDEベースライン,特に反射面における深度予測を著しく上回っていることを示している。
関連論文リスト
- Self-supervised Monocular Depth Estimation Robust to Reflective Surface Leveraged by Triplet Mining [14.432210570631577]
自己教師付き単眼深度推定(SSMDE)は、単眼画像の高密度深度マップを予測することを目的としている。
反射面はランベルト反射の仮定に反するので、反射面に苦しむ。
画素レベルでの反射領域のピンポイント化にトリプルトマイニングを活用することで,SSMDEの新たなトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2025-02-20T13:59:40Z) - Adaptive Stereo Depth Estimation with Multi-Spectral Images Across All Lighting Conditions [58.88917836512819]
本稿では,立体深度推定を取り入れた新しいフレームワークを提案し,正確な幾何学的制約を強制する。
照明の劣化がステレオマッチングに与える影響を軽減するために,劣化マスキングを導入する。
提案手法は,Multi-Spectral Stereo(MS2)データセット上でのSOTA(State-of-the-art)性能を実現する。
論文 参考訳（メタデータ） (2024-11-06T03:30:46Z) - NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。
偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。
我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
論文 参考訳（メタデータ） (2024-06-11T09:53:18Z) - Self-supervised Monocular Depth Estimation on Water Scenes via Specular Reflection Prior [3.2120448116996103]
本論文は,フレーム内事前情報を用いた深層学習深度推定のための最初のセルフスーパービジョンを提案する。
第1段階では、反射成分と全体像とを分離する分水ネットワークが実行される。
SmoothL1と新しい光度適応型SSIMを組み合わせた光度再投影誤差を定式化し、ポーズと深さの推定を最適化する。
論文 参考訳（メタデータ） (2024-04-10T17:25:42Z) - End-to-end Learning for Joint Depth and Image Reconstruction from
Diffracted Rotation [10.896567381206715]
回折回転から深度を学習する新しいエンド・ツー・エンド学習手法を提案する。
提案手法は, 単分子深度推定のタスクにおいて既存の手法よりもはるかに少ない複雑なモデルと少ないトレーニングデータを必要とする。
論文 参考訳（メタデータ） (2022-04-14T16:14:37Z) - Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。
画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。
私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文 参考訳（メタデータ） (2021-02-21T05:24:18Z) - Uncalibrated Neural Inverse Rendering for Photometric Stereo of General
Surfaces [103.08512487830669]
本稿では,測光ステレオ問題に対する無補間深層ニューラルネットワークフレームワークを提案する。
既存のニューラルネットワークベースの方法は、物体の正確な光方向または接地正則のいずれかまたは両方を必要とします。
本稿では,この問題に対する未調整の神経逆レンダリング手法を提案する。
論文 参考訳（メタデータ） (2020-12-12T10:33:08Z) - Variational Monocular Depth Estimation for Reliability Prediction [12.951621755732544]
教師付き学習手法の代替として,単眼深度推定のための自己教師付き学習が広く研究されている。
従来はモデル構造の変更による深度推定の精度向上に成功している。
本稿では, 単眼深度推定のための変分モデルを理論的に定式化し, 推定深度画像の信頼性を推定する。
論文 参考訳（メタデータ） (2020-11-24T06:23:51Z) - SAFENet: Self-Supervised Monocular Depth Estimation with Semantic-Aware
Feature Extraction [27.750031877854717]
本稿では,セマンティック情報を活用して光度損失の限界を克服するSAFENetを提案する。
私たちのキーとなるアイデアは、意味的知識と幾何学的知識を統合するセマンティック・アウェア・ディープ機能を活用することです。
KITTIデータセットの実験では、我々の手法が最先端の手法と競合するか、さらに優れています。
論文 参考訳（メタデータ） (2020-10-06T17:22:25Z) - Adaptive confidence thresholding for monocular depth estimation [83.06265443599521]
本稿では,自己教師付ステレオマッチング法から生成されたステレオ画像の擬似地上真実深度マップを利用する新しい手法を提案する。
擬似地底深度マップの信頼度マップを推定し、不正確な擬似地底深度マップによる性能劣化を緩和する。
実験結果から, 最先端の単分子深度推定法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-09-27T13:26:16Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。