論文の概要: The RoboDepth Challenge: Methods and Advancements Towards Robust Depth
Estimation
- arxiv url: http://arxiv.org/abs/2307.15061v1
- Date: Thu, 27 Jul 2023 17:59:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 13:22:33.928830
- Title: The RoboDepth Challenge: Methods and Advancements Towards Robust Depth
Estimation
- Title(参考訳): RoboDepth Challenge:ロバスト深さ推定に向けた手法と進歩
- Authors: Lingdong Kong and Yaru Niu and Shaoyuan Xie and Hanjiang Hu and Lai
Xing Ng and Benoit R. Cottereau and Ding Zhao and Liangjun Zhang and Hesheng
Wang and Wei Tsang Ooi and Ruijie Zhu and Ziyang Song and Li Liu and Tianzhu
Zhang and Jun Yu and Mohan Jing and Pengwei Li and Xiaohua Qi and Cheng Jin
and Yingfeng Chen and Jie Hou and Jie Zhang and Zhen Kan and Qiang Ling and
Liang Peng and Minglei Li and Di Xu and Changpeng Yang and Yuanqi Yao and
Gang Wu and Jian Kuai and Xianming Liu and Junjun Jiang and Jiamian Huang and
Baojun Li and Jiale Chen and Shuang Zhang and Sun Ao and Zhenyu Li and Runze
Chen and Haiyong Luo and Fang Zhao and Jingze Yu
- Abstract要約: 我々は,RoboDepth Challengeの優勝ソリューションを要約する。
この課題は、堅牢なOoD深度推定を容易にし、前進させるように設計された。
この課題が、堅牢で信頼性の高い深度推定に関する将来の研究の基盤となることを願っている。
- 参考スコア(独自算出の注目度): 91.60650535480613
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Accurate depth estimation under out-of-distribution (OoD) scenarios, such as
adverse weather conditions, sensor failure, and noise contamination, is
desirable for safety-critical applications. Existing depth estimation systems,
however, suffer inevitably from real-world corruptions and perturbations and
are struggled to provide reliable depth predictions under such cases. In this
paper, we summarize the winning solutions from the RoboDepth Challenge -- an
academic competition designed to facilitate and advance robust OoD depth
estimation. This challenge was developed based on the newly established KITTI-C
and NYUDepth2-C benchmarks. We hosted two stand-alone tracks, with an emphasis
on robust self-supervised and robust fully-supervised depth estimation,
respectively. Out of more than two hundred participants, nine unique and
top-performing solutions have appeared, with novel designs ranging from the
following aspects: spatial- and frequency-domain augmentations, masked image
modeling, image restoration and super-resolution, adversarial training,
diffusion-based noise suppression, vision-language pre-training, learned model
ensembling, and hierarchical feature enhancement. Extensive experimental
analyses along with insightful observations are drawn to better understand the
rationale behind each design. We hope this challenge could lay a solid
foundation for future research on robust and reliable depth estimation and
beyond. The datasets, competition toolkit, workshop recordings, and source code
from the winning teams are publicly available on the challenge website.
- Abstract(参考訳): 危険気象条件,センサ故障,騒音汚染などのod(out-of-distribution)シナリオ下での正確な深さ推定は,安全クリティカルな用途に望ましい。
しかし、既存の深度推定システムは、必然的に現実世界の腐敗や摂動に悩まされ、そのような場合の信頼性の高い深度予測に苦慮している。
本稿では,頑健なOoD深度推定を容易にすることを目的とした学術コンペであるRoboDepth Challengeの優勝ソリューションを要約する。
この問題は、新たに確立されたKITTI-CとNYUDepth2-Cベンチマークに基づいて開発された。
2つのスタンドアローンのトラックをホストし,それぞれロバストな自己教師付きおよびロバストな完全教師付き深さ推定を重視した。
200人を超える参加者のうち、9つの独特で最高のソリューションが登場し、空間領域と周波数領域の強化、マスク付き画像モデリング、画像復元と超高解像度化、対向訓練、拡散に基づくノイズ抑圧、視覚言語による事前学習、学習モデルエンハンスブル、階層的特徴強化など、新しい設計がなされている。
各設計の背後にある理論的根拠をよりよく理解するために、広範囲な実験分析と洞察的な観察が示される。
この課題が,堅牢で信頼性の高い深さ推定に関する今後の研究の基盤となることを願っています。
データセット、競争ツールキット、ワークショップ記録、優勝チームのソースコードは、チャレンジウェブサイトで公開されている。
関連論文リスト
- Stealing Stable Diffusion Prior for Robust Monocular Depth Estimation [33.140210057065644]
本稿では, 単分子深度推定に先立って, ステアリング安定拡散 (SSD) という新しい手法を提案する。
このアプローチは、安定拡散を利用して、挑戦的な条件を模倣した合成画像を生成することにより、この制限に対処する。
このアプローチの有効性は、nuScenesとOxford RobotCarで評価されている。
論文 参考訳(メタデータ) (2024-03-08T05:06:31Z) - Unveiling the Depths: A Multi-Modal Fusion Framework for Challenging
Scenarios [103.72094710263656]
本稿では,学習に基づくフレームワークを用いて,支配的モダリティの奥行きを識別し,統合する手法を提案する。
本稿では,信頼度予測ネットワークを操り,潜在電位深度領域を特定する信頼マップを作成する新しい信頼損失を提案する。
得られた信頼度マップを用いて,最終深度をエンドツーエンドに融合するマルチモーダル融合ネットワークを提案する。
論文 参考訳(メタデータ) (2024-02-19T04:39:16Z) - RoboDepth: Robust Out-of-Distribution Depth Estimation under Corruptions [7.359657743276515]
3つのカテゴリにまたがる18の汚職にまたがる包括的な堅牢性テストスイートであるRoboDepthを紹介します。
室内および屋外の現場における42の深度推定モデルを用いて,これらの汚損に対するレジリエンスを評価する。
本研究は, 厳密性評価フレームワークが欠如している場合, 多くの先行深度推定モデルが, 典型的な汚職の影響を受けやすいことを示すものである。
論文 参考訳(メタデータ) (2023-10-23T17:59:59Z) - EC-Depth: Exploring the consistency of self-supervised monocular depth
estimation under challenging scenes [39.853870388888986]
EC-Depthは、堅牢な深さ推定を実現するための、新しい自己教師型2段階トレーニングフレームワークである。
我々のモデルは、標準シナリオと挑戦シナリオの両方において正確で一貫した深度予測を実現する。
提案手法は, KITTI, KITTI-C および DrivingStereo ベンチマークにおける既存の最先端手法を超越した手法である。
論文 参考訳(メタデータ) (2023-10-12T05:34:45Z) - Uncertainty Guided Depth Fusion for Spike Camera [49.41822923588663]
スパイクカメラのための単分子およびステレオ深度推定ネットワークの予測を融合させる新しい不確かさ誘導深度融合(UGDF)フレームワークを提案する。
我々のフレームワークは、ステレオスパイク深さ推定がより近い範囲でより良い結果をもたらすという事実に動機づけられている。
従来のカメラ深度推定よりもスパイク深度推定の利点を示すため、我々はCitySpike20Kというスパイク深度データセットに貢献する。
論文 参考訳(メタデータ) (2022-08-26T13:04:01Z) - On the Minimal Adversarial Perturbation for Deep Neural Networks with
Provable Estimation Error [65.51757376525798]
敵の摂動の存在は、証明可能な堅牢性に関する興味深い研究ラインを開いた。
検証可能な結果は、コミットしたエラーを見積り、バウンドするものではない。
本稿では,最小対向摂動を求めるための2つの軽量戦略を提案する。
その結果, 提案手法は, 分類に近い試料の理論的距離とロバスト性を近似し, 敵攻撃に対する確実な保証が得られた。
論文 参考訳(メタデータ) (2022-01-04T16:40:03Z) - Unsupervised Scale-consistent Depth Learning from Video [131.3074342883371]
本研究では,単眼深度推定器SC-Depthを提案する。
スケール一貫性予測の能力により,我々の単分子学習深層ネットワークは簡単にORB-SLAM2システムに統合可能であることを示す。
提案したハイブリッドPseudo-RGBD SLAMは、KITTIにおいて魅力的な結果を示し、追加のトレーニングなしでKAISTデータセットにうまく一般化する。
論文 参考訳(メタデータ) (2021-05-25T02:17:56Z) - Unsupervised Deep Persistent Monocular Visual Odometry and Depth
Estimation in Extreme Environments [7.197188771058501]
教師なしの深層学習アプローチは、未ラベルの単分子画像列から深度と視覚計測(VO)を推定するために大きな注目を集めている。
そこで本稿では,RGB画像列からカメラの6自由度ポーズとシーンの深度マップを予測する,教師なし単眼深度VOフレームワークを提案する。
提案手法は, 従来の非教師付き深度VO法と非教師付き深度VO法の両方より優れ, ポーズ推定と深度回復の両面で良好な結果が得られる。
論文 参考訳(メタデータ) (2020-10-31T19:10:27Z) - On the uncertainty of self-supervised monocular depth estimation [52.13311094743952]
単眼深度推定のための自己監督的パラダイムは、基礎的な真理アノテーションを全く必要としないため、非常に魅力的である。
我々は,このタスクの不確かさを推定する方法と,これが深さ精度にどのように影響するかを初めて検討する。
自己教師型アプローチに特化して設計された,斬新な手法を提案する。
論文 参考訳(メタデータ) (2020-05-13T09:00:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。