論文の概要: Self-supervised Monocular Depth Estimation Robust to Reflective Surface Leveraged by Triplet Mining

• arxiv url: http://arxiv.org/abs/2502.14573v1
• Date: Thu, 20 Feb 2025 13:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:28:51.955051
• Title: Self-supervised Monocular Depth Estimation Robust to Reflective Surface Leveraged by Triplet Mining
• Title（参考訳）: トリプルトマイニングによる反射面への自己監督単分子深さ推定ロバスト
• Authors: Wonhyeok Choi, Kyumin Hwang, Wei Peng, Minwoo Choi, Sunghoon Im,
• Abstract要約: 自己教師付き単眼深度推定(SSMDE)は、単眼画像の高密度深度マップを予測することを目的としている。 反射面はランベルト反射の仮定に反するので、反射面に苦しむ。 画素レベルでの反射領域のピンポイント化にトリプルトマイニングを活用することで,SSMDEの新たなトレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 14.432210570631577
• License:
• Abstract: Self-supervised monocular depth estimation (SSMDE) aims to predict the dense depth map of a monocular image, by learning depth from RGB image sequences, eliminating the need for ground-truth depth labels. Although this approach simplifies data acquisition compared to supervised methods, it struggles with reflective surfaces, as they violate the assumptions of Lambertian reflectance, leading to inaccurate training on such surfaces. To tackle this problem, we propose a novel training strategy for an SSMDE by leveraging triplet mining to pinpoint reflective regions at the pixel level, guided by the camera geometry between different viewpoints. The proposed reflection-aware triplet mining loss specifically penalizes the inappropriate photometric error minimization on the localized reflective regions while preserving depth accuracy in non-reflective areas. We also incorporate a reflection-aware knowledge distillation method that enables a student model to selectively learn the pixel-level knowledge from reflective and non-reflective regions. This results in robust depth estimation across areas. Evaluation results on multiple datasets demonstrate that our method effectively enhances depth quality on reflective surfaces and outperforms state-of-the-art SSMDE baselines.
• Abstract（参考訳）: 自己教師付き単眼深度推定(SSMDE)は、RGB画像列から深度を学習し、地表面の深度ラベルを不要にすることで、単眼画像の深度マップを予測することを目的としている。 このアプローチは教師付き手法に比べてデータ取得を単純化するが、ランベルト反射率の仮定に反する反射面に苦しむため、そのような曲面上での不正確な訓練に繋がる。 この問題に対処するために,3重項マイニングを利用して画素レベルの反射領域をピンポイントし,異なる視点でカメラ幾何学を導出することで,SSMDEの新たなトレーニング戦略を提案する。 提案したリフレクション対応トリプレットマイニング損失は、非反射領域の深さ精度を保ちながら、局所反射領域における不適切な測光誤差の最小化を特に罰する。 また,リフレクティブ領域や非反射領域から,学生が画素レベルの知識を選択的に学習することのできるリフレクティブ・アウェア・ナレッジ蒸留手法を取り入れた。 これにより、地域にわたって頑健な深さ推定が可能となる。 複数のデータセットに対する評価結果から,反射面の深さ品質を効果的に向上し,最先端のSSMDEベースラインよりも優れた結果が得られた。

関連論文リスト

• Acquisition of Spatially-Varying Reflectance and Surface Normals via Polarized Reflectance Fields [15.653977591138682]
  実世界の物体の幾何と空間的に変化する反射率を正確に測定することは複雑な作業である。 偏光反射場キャプチャーと包括的統計解析アルゴリズムを用いた新しい手法を提案する。 広帯域の多種多様な物体の捕集形状と反射率を, 拡散度から光沢の範囲で示す。
  論文  参考訳（メタデータ） (2024-12-13T00:39:55Z)
• NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
  NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。 偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。 我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
  論文  参考訳（メタデータ） (2024-06-11T09:53:18Z)
• Weakly-Supervised Monocular Depth Estimationwith Resolution-Mismatched Data [73.9872931307401]
  単眼深度推定ネットワークをトレーニングするための弱教師付きフレームワークを提案する。 提案フレームワークは, 共有重量単分子深度推定ネットワークと蒸留用深度再構成ネットワークから構成される。 実験結果から,本手法は教師なし・半教師付き学習ベース方式よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2021-09-23T18:04:12Z)
• Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
  既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。 画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。 私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
  論文  参考訳（メタデータ） (2021-02-21T05:24:18Z)
• Variational Monocular Depth Estimation for Reliability Prediction [12.951621755732544]
  教師付き学習手法の代替として,単眼深度推定のための自己教師付き学習が広く研究されている。 従来はモデル構造の変更による深度推定の精度向上に成功している。 本稿では, 単眼深度推定のための変分モデルを理論的に定式化し, 推定深度画像の信頼性を推定する。
  論文  参考訳（メタデータ） (2020-11-24T06:23:51Z)
• Adaptive confidence thresholding for monocular depth estimation [83.06265443599521]
  本稿では,自己教師付ステレオマッチング法から生成されたステレオ画像の擬似地上真実深度マップを利用する新しい手法を提案する。 擬似地底深度マップの信頼度マップを推定し、不正確な擬似地底深度マップによる性能劣化を緩和する。 実験結果から, 最先端の単分子深度推定法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-09-27T13:26:16Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry [57.5549733585324]
  D3VOは、深度、ポーズ、不確実性推定という3つのレベルでディープネットワークを利用する、単眼の視覚計測のための新しいフレームワークである。 まず,ステレオビデオを用いた自己監督型単眼深度推定ネットワークを提案する。 入力画像上の画素の光度不確かさをモデル化し、深度推定精度を向上させる。
  論文  参考訳（メタデータ） (2020-03-02T17:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。