論文の概要: Always Clear Depth: Robust Monocular Depth Estimation under Adverse Weather
- arxiv url: http://arxiv.org/abs/2505.12199v1
- Date: Sun, 18 May 2025 02:30:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.087004
- Title: Always Clear Depth: Robust Monocular Depth Estimation under Adverse Weather
- Title(参考訳): 常時クリア深さ:逆気象下でのロバストな単分子深さ推定
- Authors: Kui Jiang, Jing Cao, Zhaocheng Yu, Junjun Jiang, Jingchun Zhou,
- Abstract要約: 高品質なトレーニングデータ生成とドメイン適応の観点から,textbfACDepth と呼ばれる頑健な単眼深度推定手法を提案する。
具体的には、悪天候条件をシミュレートするサンプルを生成するための1段階拡散モデルを導入し、トレーニング中に多段階劣化データセットを構築した。
本稿では,教師モデルと事前学習深度V2からの知識を学生ネットワークに吸収させる多粒度知識蒸留戦略(MKD)について詳述する。
- 参考スコア(独自算出の注目度): 48.65180004211851
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Monocular depth estimation is critical for applications such as autonomous driving and scene reconstruction. While existing methods perform well under normal scenarios, their performance declines in adverse weather, due to challenging domain shifts and difficulties in extracting scene information. To address this issue, we present a robust monocular depth estimation method called \textbf{ACDepth} from the perspective of high-quality training data generation and domain adaptation. Specifically, we introduce a one-step diffusion model for generating samples that simulate adverse weather conditions, constructing a multi-tuple degradation dataset during training. To ensure the quality of the generated degradation samples, we employ LoRA adapters to fine-tune the generation weights of diffusion model. Additionally, we integrate circular consistency loss and adversarial training to guarantee the fidelity and naturalness of the scene contents. Furthermore, we elaborate on a multi-granularity knowledge distillation strategy (MKD) that encourages the student network to absorb knowledge from both the teacher model and pretrained Depth Anything V2. This strategy guides the student model in learning degradation-agnostic scene information from various degradation inputs. In particular, we introduce an ordinal guidance distillation mechanism (OGD) that encourages the network to focus on uncertain regions through differential ranking, leading to a more precise depth estimation. Experimental results demonstrate that our ACDepth surpasses md4all-DD by 2.50\% for night scene and 2.61\% for rainy scene on the nuScenes dataset in terms of the absRel metric.
- Abstract(参考訳): 単眼深度推定は、自律運転やシーン再構築などの応用において重要である。
既存の手法は通常のシナリオではうまく機能するが、ドメインシフトの難しさやシーン情報の抽出に困難があるため、悪天候では性能が低下する。
この問題に対処するために,高品質なトレーニングデータ生成とドメイン適応の観点から,‘textbf{ACDepth}’と呼ばれる頑健な単眼深度推定手法を提案する。
具体的には、悪天候条件をシミュレートするサンプルを生成するための1段階拡散モデルを導入し、トレーニング中に多段階劣化データセットを構築した。
生成した劣化サンプルの品質を確保するため,拡散モデルの生成重量を微調整するためにLoRAアダプタを用いる。
さらに、シーン内容の忠実さと自然さを保証するために、円形の一貫性損失と逆行訓練を統合する。
さらに,教師モデルと事前学習したDepth Anything V2の両方からの知識を学生ネットワークに吸収させる多粒度知識蒸留戦略(MKD)について詳しく検討する。
この戦略は、様々な劣化入力から劣化に依存しないシーン情報を学習する学生モデルを導く。
特に,ディファレンシャルランク付けによってネットワークが不確実な領域に焦点を合わせることを奨励し,より正確な深さ推定を行うオーディショナルガイダンス蒸留機構(OGD)を導入する。
実験の結果,ACDepth は md4all-DD を2.50\% に上回り,降水量は2.61\% に上った。
関連論文リスト
- Digging into contrastive learning for robust depth estimation with diffusion models [55.62276027922499]
そこで我々はD4RDと呼ばれる新しい頑健な深度推定法を提案する。
複雑な環境での性能劣化を軽減するために、拡散モデルに適した独自のコントラスト学習モードを備えている。
実験では、D4RDは合成汚職データセットや現実世界の気象条件に関する最先端のソリューションを超越している。
論文 参考訳(メタデータ) (2024-04-15T14:29:47Z) - Adaptive Discrete Disparity Volume for Self-supervised Monocular Depth Estimation [0.0]
本稿では,学習可能なモジュールAdaptive Discrete Disparity Volume (ADDV)を提案する。
ADDVは異なるRGB画像の深さ分布を動的に感知し、適応的なビンを生成することができる。
また、自己監督型条件下での正規化を実現するために、新しいトレーニング戦略(統一化と強化)も導入する。
論文 参考訳(メタデータ) (2024-04-04T04:22:25Z) - Stealing Stable Diffusion Prior for Robust Monocular Depth Estimation [33.140210057065644]
本稿では, 単分子深度推定に先立って, ステアリング安定拡散 (SSD) という新しい手法を提案する。
このアプローチは、安定拡散を利用して、挑戦的な条件を模倣した合成画像を生成することにより、この制限に対処する。
このアプローチの有効性は、nuScenesとOxford RobotCarで評価されている。
論文 参考訳(メタデータ) (2024-03-08T05:06:31Z) - Bilevel Fast Scene Adaptation for Low-Light Image Enhancement [50.639332885989255]
低照度シーンにおける画像の強調は、コンピュータビジョンにおいて難しいが、広く懸念されている課題である。
主な障害は、異なるシーンにまたがる分散の相違によるモデリングの混乱にある。
上述の潜在対応をモデル化するための双レベルパラダイムを導入する。
エンコーダのシーン非関連な一般化を多様なシーンにもたらすために、双方向学習フレームワークを構築した。
論文 参考訳(メタデータ) (2023-06-02T08:16:21Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳(メタデータ) (2022-11-07T16:17:47Z) - Unsupervised Scale-consistent Depth Learning from Video [131.3074342883371]
本研究では,単眼深度推定器SC-Depthを提案する。
スケール一貫性予測の能力により,我々の単分子学習深層ネットワークは簡単にORB-SLAM2システムに統合可能であることを示す。
提案したハイブリッドPseudo-RGBD SLAMは、KITTIにおいて魅力的な結果を示し、追加のトレーニングなしでKAISTデータセットにうまく一般化する。
論文 参考訳(メタデータ) (2021-05-25T02:17:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。