論文の概要: Synthetic-to-Real Self-supervised Robust Depth Estimation via Learning with Motion and Structure Priors

• arxiv url: http://arxiv.org/abs/2503.20211v1
• Date: Wed, 26 Mar 2025 04:12:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:20:01.680745
• Title: Synthetic-to-Real Self-supervised Robust Depth Estimation via Learning with Motion and Structure Priors
• Title（参考訳）: 動きと構造を優先した学習による自己教師付きロバスト深さ推定
• Authors: Weilong Yan, Ming Li, Haipeng Li, Shuwei Shao, Robby T. Tan,
• Abstract要約: 本稿では,実世界の知識を効果的に捉えるために,動きと構造を前もって組み込んだ,最初の合成から実までの頑健な深度推定フレームワークを提案する。 AbsRel と RMSE の nuScenes と Robotcar のデータセット(昼間,夜間,雨)における平均 7.5% と 4.3% の改善を実現している。 ドライビングステーオ (光, 霧) のゼロショット評価では, 本手法は従来の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 22.831281986234988
• License:
• Abstract: Self-supervised depth estimation from monocular cameras in diverse outdoor conditions, such as daytime, rain, and nighttime, is challenging due to the difficulty of learning universal representations and the severe lack of labeled real-world adverse data. Previous methods either rely on synthetic inputs and pseudo-depth labels or directly apply daytime strategies to adverse conditions, resulting in suboptimal results. In this paper, we present the first synthetic-to-real robust depth estimation framework, incorporating motion and structure priors to capture real-world knowledge effectively. In the synthetic adaptation, we transfer motion-structure knowledge inside cost volumes for better robust representation, using a frozen daytime model to train a depth estimator in synthetic adverse conditions. In the innovative real adaptation, which targets to fix synthetic-real gaps, models trained earlier identify the weather-insensitive regions with a designed consistency-reweighting strategy to emphasize valid pseudo-labels. We introduce a new regularization by gathering explicit depth distributions to constrain the model when facing real-world data. Experiments show that our method outperforms the state-of-the-art across diverse conditions in multi-frame and single-frame evaluations. We achieve improvements of 7.5% and 4.3% in AbsRel and RMSE on average for nuScenes and Robotcar datasets (daytime, nighttime, rain). In zero-shot evaluation of DrivingStereo (rain, fog), our method generalizes better than the previous ones.
• Abstract（参考訳）: 日中, 雨時, 夜間など多様な屋外条件下での単眼カメラからの自己監督深度推定は, 普遍表現の学習が困難であり, ラベル付き現実世界の有害データの不足により困難である。 それまでの方法は、合成入力や擬似深度ラベルに頼っていたり、日中の戦略を直接悪条件に当てはめたりしていた。 本稿では,実世界の知識を効果的に捉えるために,動きと構造を前もって組み込んだ,最初の合成から実までの頑健な深度推定フレームワークを提案する。 合成適応では, より堅牢な表現のために, 凍結昼時間モデルを用いて, コストボリューム内での運動構造知識を伝達し, 合成不良条件下での深度推定を訓練する。 合成リアルギャップの修正を目的とした革新的な現実適応では、事前訓練されたモデルは、有効な擬似ラベルを強調するために設計された一貫性と重み付け戦略を用いて、気象に敏感な地域を特定する。 実世界のデータに直面する際のモデルを制限するために,明示的な深度分布を収集することで,新たな正規化を導入する。 実験により,本手法は多フレーム・単フレーム評価において,様々な条件における最先端技術よりも優れることが示された。 AbsRelとRMSEの7.5%と4.3%の改善を、nuScenesとRobotcarのデータセット(昼間、夜間、雨)の平均で達成した。 ドライビングステーオ (光, 霧) のゼロショット評価では, 本手法は従来の手法よりも優れていた。

関連論文リスト

• DepthFM: Fast Monocular Depth Estimation with Flow Matching [22.206355073676082]
  現在の識別的深さ推定法は、しばしばぼやけた人工物を生成するが、生成的アプローチはノイズ・ツー・ディープ・トランスポートの曲率によるサンプリングが遅い。 本手法は,画像と深度分布間の直接輸送として深度推定をフレーミングすることで,これらの課題に対処する。 提案手法は, 複雑な自然シーンの標準ベンチマークにおいて, サンプリング効率を向上し, 学習に最小限の合成データしか必要とせず, 競争力のあるゼロショット性能を実現する。
  論文  参考訳（メタデータ） (2024-03-20T17:51:53Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
  本稿では,DAF(Disdisrepancy Aware Framework)を提案する。 本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。 単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
  論文  参考訳（メタデータ） (2023-10-11T15:21:40Z)
• WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions [42.99525455786019]
  カリキュラムのコントラスト学習による自己教師付き頑健な深度推定モデルであるWeatherDepthを提案する。 提案手法は様々なアーキテクチャに容易に組み込めることが証明され、合成および実際の気象データセット上での最先端(SoTA)性能を示す。
  論文  参考訳（メタデータ） (2023-10-09T09:26:27Z)
• Robust Monocular Depth Estimation under Challenging Conditions [81.57697198031975]
  最先端のモノクル深度推定手法は、難解な照明や気象条件下では信頼性が低い。 我々はmd4allでこれらの安全クリティカルな問題に取り組む: 単純で効果的なソリューションで、悪条件と理想条件の両方で確実に機能する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:01Z)
• Exploring the Physical World Adversarial Robustness of Vehicle Detection [13.588120545886229]
  アドリアックは現実世界の検知モデルの堅牢性を損なう可能性がある。 CARLAシミュレータを用いた革新的なインスタントレベルデータ生成パイプラインを提案する。 本研究は, 逆境条件下での多種多様なモデル性能について考察した。
  論文  参考訳（メタデータ） (2023-08-07T11:09:12Z)
• Vision in adverse weather: Augmentation using CycleGANs with various object detectors for robust perception in autonomous racing [70.16043883381677]
  自律レースでは、天気は突然変化し、認識が著しく低下し、非効率な操作が引き起こされる。 悪天候の検知を改善するために、ディープラーニングベースのモデルは通常、そのような状況下でキャプチャされた広範なデータセットを必要とする。 本稿では,5つの最先端検出器のうち4つの性能向上を図るために,自動レース(CycleGANを用いた)における合成悪条件データセットを用いた手法を提案する。
  論文  参考訳（メタデータ） (2022-01-10T10:02:40Z)
• Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
  ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。 降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
  論文  参考訳（メタデータ） (2021-07-14T21:10:47Z)
• Semi-Supervised Video Deraining with Dynamic Rain Generator [59.71640025072209]
  本稿では,降雨層に適合する動的降雨発生器を用いた半教師付きビデオデレーシング手法を提案する。 具体的には、1つのエミッションモデルと1つのトランジションモデルから成り、空間的物理的構造と時系列の雨の連続的な変化を同時にエンコードする。 ラベル付き合成およびラベルなしの実データのために、それらの基礎となる共通知識を十分に活用するために、様々な先行フォーマットが設計されている。
  論文  参考訳（メタデータ） (2021-03-14T14:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。