論文の概要: Toward Practical Self-Supervised Monocular Indoor Depth Estimation
- arxiv url: http://arxiv.org/abs/2112.02306v1
- Date: Sat, 4 Dec 2021 11:02:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 16:38:57.859173
- Title: Toward Practical Self-Supervised Monocular Indoor Depth Estimation
- Title(参考訳): 単分子室内深度推定の実用化に向けて
- Authors: Cho-Ying Wu, Jialiang Wang, Michael Hall, Ulrich Neumann, Shuochen Su
- Abstract要約: 自己監督型単眼深度推定法は, 見えない屋内のシーンによく当てはまらない。
本研究では, 既訓練深度推定器からクナックを学習する構造蒸留手法を提案する。
左右の整合性からメトリクスを学習する自己監督ブランチと蒸留を組み合わせることで、一般的な屋内シーンの構造化とメートル法深度が得られる。
- 参考スコア(独自算出の注目度): 17.222362224649544
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The majority of self-supervised monocular depth estimation methods focus on
driving scenarios. We show that such methods generalize poorly to unseen
complex indoor scenes, where objects are cluttered and arbitrarily arranged in
the near field. To obtain more robustness, we propose a structure distillation
approach to learn knacks from a pretrained depth estimator that produces
structured but metric-agnostic depth due to its in-the-wild mixed-dataset
training. By combining distillation with the self-supervised branch that learns
metrics from left-right consistency, we attain structured and metric depth for
generic indoor scenes and make inferences in real-time. To facilitate learning
and evaluation, we collect SimSIN, a dataset from simulation with thousands of
environments, and UniSIN, a dataset that contains about 500 real scan sequences
of generic indoor environments. We experiment in both sim-to-real and
real-to-real settings, and show improvements both qualitatively and
quantitatively, as well as in downstream applications using our depth maps.
This work provides a full study, covering methods, data, and applications. We
believe the work lays a solid basis for practical indoor depth estimation via
self-supervision.
- Abstract(参考訳): 自己監督型単眼深度推定法の大半は、運転シナリオに焦点を当てている。
このような手法は,物体が近くで散らばり,任意に配置される複雑な室内シーンの一般化が困難であることを示す。
さらにロバスト性を高めるため,本研究では,その内装混合データセットトレーニングにより,構造的だがメートル法に依存しない深度を生成する事前訓練された深度推定器からクナックを学習するための構造蒸留手法を提案する。
左右の整合性からメトリクスを学習する自己教師分枝と蒸留を組み合わせることで、一般的な屋内シーンの構造化とメートル法深度をリアルタイムで推定する。
学習と評価を容易にするために,数千の環境をシミュレーションしたデータセットであるSimSINと,一般的な屋内環境の500個の実スキャンシーケンスを含むデータセットであるUniSINを収集した。
sim-to-real と real-to-real の両方で実験を行い,奥行きマップを用いた下流アプリケーションにおいても,質的および定量的に改善を示す。
この研究は、メソッド、データ、アプリケーションに関する完全な研究を提供する。
我々は,本研究が自己超越による屋内深度推定の実践的基礎となると考えている。
関連論文リスト
- GasMono: Geometry-Aided Self-Supervised Monocular Depth Estimation for
Indoor Scenes [47.76269541664071]
本稿では,フレームと低テクスチャの大きな回転に起因する屋内シーンにおける自己教師型単眼深度推定の課題に対処する。
モノクラーシーケンスから粗いカメラポーズを多視点形状で取得し,前者に対応する。
低テクスチャの効果を和らげるために、視覚変換器のグローバルな推論と過度に適合する反復的な自己蒸留機構を組み合わせる。
論文 参考訳(メタデータ) (2023-09-26T17:59:57Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳(メタデータ) (2022-11-07T16:17:47Z) - Towards Domain-agnostic Depth Completion [96.67020906681175]
既存の深度補完法は、しばしば特定のスパース深度型を目標とし、タスク領域間での一般化が不十分である。
各種センサで得られたスパース/セミデンス,ノイズ,および低分解能深度マップを完備する手法を提案する。
本手法は,最先端の深度補完法に対して優れたクロスドメイン一般化能力を示す。
論文 参考訳(メタデータ) (2022-07-29T04:10:22Z) - MonoIndoor++:Towards Better Practice of Self-Supervised Monocular Depth
Estimation for Indoor Environments [45.89629401768049]
自己監督型単分子深度推定は近年,特に屋外環境において顕著な進歩を遂げている。
しかし、既存のデータの大半を携帯端末で捉えている屋内シーンでは、深度予測結果は満足できない。
室内環境における自己教師型単眼深度推定の性能向上を目的とした,新しいフレームワーク-IndoorMono++を提案する。
論文 参考訳(メタデータ) (2022-07-18T21:34:43Z) - SelfTune: Metrically Scaled Monocular Depth Estimation through
Self-Supervised Learning [53.78813049373321]
本稿では,事前学習した教師付き単分子深度ネットワークに対する自己教師付き学習手法を提案する。
本手法は移動ロボットナビゲーションなどの様々な応用に有用であり,多様な環境に適用可能である。
論文 参考訳(メタデータ) (2022-03-10T12:28:42Z) - Unsupervised Scale-consistent Depth Learning from Video [131.3074342883371]
本研究では,単眼深度推定器SC-Depthを提案する。
スケール一貫性予測の能力により,我々の単分子学習深層ネットワークは簡単にORB-SLAM2システムに統合可能であることを示す。
提案したハイブリッドPseudo-RGBD SLAMは、KITTIにおいて魅力的な結果を示し、追加のトレーニングなしでKAISTデータセットにうまく一般化する。
論文 参考訳(メタデータ) (2021-05-25T02:17:56Z) - Self-Supervised Joint Learning Framework of Depth Estimation via
Implicit Cues [24.743099160992937]
深度推定のための自己教師型共同学習フレームワークを提案する。
提案するフレームワークは,KITTIおよびMake3Dデータセット上での最先端(SOTA)よりも優れている。
論文 参考訳(メタデータ) (2020-06-17T13:56:59Z) - RealMonoDepth: Self-Supervised Monocular Depth Estimation for General
Scenes [11.995578248462946]
既存の単眼深度推定法では、トレーニングに正確な深度測定が必要である。
自己監督的なアプローチは印象的な結果を示しているが、異なる奥行き範囲やカメラベースラインのシーンには一般化しない。
本研究では,屋内・屋外の多様なシーンに対して,実景深度を推定する自己教師型単眼深度推定手法であるRealMonoDepthを紹介する。
論文 参考訳(メタデータ) (2020-04-14T02:03:10Z) - Don't Forget The Past: Recurrent Depth Estimation from Monocular Video [92.84498980104424]
私たちは3つの異なる種類の深さ推定を共通のフレームワークに組み込んだ。
提案手法は, 時系列の深度マップを生成する。
モノクロビデオにのみ適用したり、異なる種類のスパース深度パターンと組み合わせたりすることができる。
論文 参考訳(メタデータ) (2020-01-08T16:50:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。