論文の概要: Adaptive Stereo Depth Estimation with Multi-Spectral Images Across All Lighting Conditions

• arxiv url: http://arxiv.org/abs/2411.03638v1
• Date: Wed, 06 Nov 2024 03:30:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:29.986873
• Title: Adaptive Stereo Depth Estimation with Multi-Spectral Images Across All Lighting Conditions
• Title（参考訳）: 全照明条件における多スペクトル画像を用いた適応ステレオ深さ推定
• Authors: Zihan Qin, Jialei Xu, Wenbo Zhao, Junjun Jiang, Xianming Liu,
• Abstract要約: 本稿では,立体深度推定を取り入れた新しいフレームワークを提案し,正確な幾何学的制約を強制する。 照明の劣化がステレオマッチングに与える影響を軽減するために,劣化マスキングを導入する。 提案手法は,Multi-Spectral Stereo(MS2)データセット上でのSOTA(State-of-the-art)性能を実現する。
• 参考スコア（独自算出の注目度）: 58.88917836512819
• License:
• Abstract: Depth estimation under adverse conditions remains a significant challenge. Recently, multi-spectral depth estimation, which integrates both visible light and thermal images, has shown promise in addressing this issue. However, existing algorithms struggle with precise pixel-level feature matching, limiting their ability to fully exploit geometric constraints across different spectra. To address this, we propose a novel framework incorporating stereo depth estimation to enforce accurate geometric constraints. In particular, we treat the visible light and thermal images as a stereo pair and utilize a Cross-modal Feature Matching (CFM) Module to construct a cost volume for pixel-level matching. To mitigate the effects of poor lighting on stereo matching, we introduce Degradation Masking, which leverages robust monocular thermal depth estimation in degraded regions. Our method achieves state-of-the-art (SOTA) performance on the Multi-Spectral Stereo (MS2) dataset, with qualitative evaluations demonstrating high-quality depth maps under varying lighting conditions.
• Abstract（参考訳）: 悪条件下での深さ推定は依然として重要な課題である。 近年,可視光画像と熱画像の両方を統合したマルチスペクトル深度推定は,この問題に対処する上で有望であることを示す。 しかし、既存のアルゴリズムは正確なピクセルレベルの特徴マッチングに苦慮し、異なるスペクトルをまたいだ幾何的制約を完全に活用する能力を制限している。 そこで本研究では,立体深度推定を取り入れ,正確な幾何学的制約を強制する新しいフレームワークを提案する。 特に、可視光と熱画像をステレオペアとして扱い、Cross-modal Feature Matching (CFM)モジュールを用いて画素レベルのマッチングのためのコストボリュームを構築する。 劣化領域におけるロバストな単分子熱深度推定を生かした劣化マスキングを導入する。 提案手法は,多スペクトルステレオ(MS2)データセット上でのSOTA(State-of-the-art)性能を実現し,照明条件の異なる条件下での高品質深度マップの質的評価を行った。

関連論文リスト

• Dusk Till Dawn: Self-supervised Nighttime Stereo Depth Estimation using Visual Foundation Models [16.792458193160407]
  自己教師付き深さ推定アルゴリズムはフレームウォーピング関係に大きく依存する。 夜間に焦点をあてた自己教師型ステレオ深度推定を行うアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-18T03:07:23Z)
• Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging Scenarios [103.72094710263656]
  本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。 本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。 得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:39:16Z)
• A Neural Height-Map Approach for the Binocular Photometric Stereo Problem [36.404880059833324]
  双眼鏡測光ステレオ(PS)フレームワークは単視PSと同じ取得速度を持つが、推定幾何の質は著しく向上する。 本手法は両眼立体装置に適応したDiLiGenT-MVデータセットの最先端性能と新しい両眼測光ステレオデータセットLUCES-STを実現する。
  論文  参考訳（メタデータ） (2023-11-10T09:45:53Z)
• Deep Learning Methods for Calibrated Photometric Stereo and Beyond [86.57469194387264]
  光度ステレオは、さまざまなシェーディングキューを持つ複数の画像から物体の表面の正常性を回復する。 深層学習法は、非ランベルト面に対する測光ステレオの文脈において強力な能力を示している。
  論文  参考訳（メタデータ） (2022-12-16T11:27:44Z)
• Frequency-Aware Self-Supervised Monocular Depth Estimation [41.97188738587212]
  自己教師付き単眼深度推定モデルを改善するための2つの多目的手法を提案する。 本手法の高一般化性は,測光損失関数の基本的およびユビキタスな問題を解くことによって達成される。 我々は、解釈可能な解析で深度推定器を改善するために、初めてぼやけた画像を提案する。
  論文  参考訳（メタデータ） (2022-10-11T14:30:26Z)
• Non-learning Stereo-aided Depth Completion under Mis-projection via Selective Stereo Matching [0.5067618621449753]
  一対のステレオ画像で導かれる光検出・測度センサ(LiDAR)を用いて捉えたスパース深度マップの非学習深度補完法を提案する。 提案手法は, 平均絶対誤差(MAE)を0.65倍に減らし, 従来よりも約2倍の精度で推定できることを示した。
  論文  参考訳（メタデータ） (2022-10-04T07:46:56Z)
• Uncertainty-Aware Deep Multi-View Photometric Stereo [100.97116470055273]
  光度ステレオ(PS)は高周波表面の細部を復元するのに優れ、マルチビューステレオ(MVS)はPSによる低周波歪みを除去し、大域的な形状を維持するのに役立つ。 本稿では,PS と MVS の相補的強みを効果的に活用する手法を提案する。 我々は,不確実性を考慮したディープPSネットワークとディープMVSネットワークを用いて,画素ごとの表面の正規度と深さを推定する。
  論文  参考訳（メタデータ） (2022-02-26T05:45:52Z)
• Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth with RGB Fusion in Challenging Environments [56.306567220448684]
  本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。 最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
  論文  参考訳（メタデータ） (2021-12-07T15:04:14Z)
• Uncalibrated Neural Inverse Rendering for Photometric Stereo of General Surfaces [103.08512487830669]
  本稿では,測光ステレオ問題に対する無補間深層ニューラルネットワークフレームワークを提案する。 既存のニューラルネットワークベースの方法は、物体の正確な光方向または接地正則のいずれかまたは両方を必要とします。 本稿では,この問題に対する未調整の神経逆レンダリング手法を提案する。
  論文  参考訳（メタデータ） (2020-12-12T10:33:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。