論文の概要: Continual Learning of Unsupervised Monocular Depth from Videos
- arxiv url: http://arxiv.org/abs/2311.02393v1
- Date: Sat, 4 Nov 2023 12:36:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 17:57:45.793328
- Title: Continual Learning of Unsupervised Monocular Depth from Videos
- Title(参考訳): ビデオからの教師なし単眼深度の連続学習
- Authors: Hemang Chawla, Arnav Varma, Elahe Arani, and Bahram Zonooz
- Abstract要約: 連続的教師なし深度推定(CUDE)の課題を捉える枠組みを導入する。
本稿では,時間的整合性を利用したリハーサルベースのデュアルメモリ手法MonoDepthCLを提案する。
- 参考スコア(独自算出の注目度): 19.43053045216986
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Spatial scene understanding, including monocular depth estimation, is an
important problem in various applications, such as robotics and autonomous
driving. While improvements in unsupervised monocular depth estimation have
potentially allowed models to be trained on diverse crowdsourced videos, this
remains underexplored as most methods utilize the standard training protocol,
wherein the models are trained from scratch on all data after new data is
collected. Instead, continual training of models on sequentially collected data
would significantly reduce computational and memory costs. Nevertheless, naive
continual training leads to catastrophic forgetting, where the model
performance deteriorates on older domains as it learns on newer domains,
highlighting the trade-off between model stability and plasticity. While
several techniques have been proposed to address this issue in image
classification, the high-dimensional and spatiotemporally correlated outputs of
depth estimation make it a distinct challenge. To the best of our knowledge, no
framework or method currently exists focusing on the problem of continual
learning in depth estimation. Thus, we introduce a framework that captures the
challenges of continual unsupervised depth estimation (CUDE), and define the
necessary metrics to evaluate model performance. We propose a rehearsal-based
dual-memory method, MonoDepthCL, which utilizes spatiotemporal consistency for
continual learning in depth estimation, even when the camera intrinsics are
unknown.
- Abstract(参考訳): 単眼深度推定を含む空間的シーン理解は、ロボット工学や自律運転といった様々な応用において重要な問題である。
教師なし単眼深度推定の改善により、さまざまなクラウドソースビデオでモデルをトレーニングすることが可能になったが、ほとんどの手法では標準のトレーニングプロトコルを使用しており、新しいデータが収集された後、モデルがスクラッチからトレーニングされる。
代わりに、逐次的に収集されたデータに対するモデルの連続的なトレーニングは、計算とメモリコストを大幅に削減する。
それにもかかわらず、ナイーブな継続的なトレーニングは、モデル安定性と可塑性の間のトレードオフを強調しながら、古いドメインでモデルパフォーマンスが劣化する破滅的な忘れ込みにつながる。
画像分類においてこの問題に対処するためにいくつかの手法が提案されているが、深度推定の高次元および時空間的相関アウトプットは別の課題となっている。
私たちの知る限りでは、深さ推定における連続学習の問題に焦点をあてたフレームワークや方法は存在しない。
そこで我々は,連続的教師なし深度推定(CUDE)の課題を捉え,モデルの性能を評価するために必要な指標を定義する枠組みを提案する。
本稿では,カメラ内在性が不明な場合であっても,時間的一貫性を深度推定に活用するリハーサルベースデュアルメモリ法 monodepthcl を提案する。
関連論文リスト
- UnCLe: Unsupervised Continual Learning of Depth Completion [5.677777151863184]
UnCLeはマルチモーダル深度推定タスクの教師なし連続学習のための標準ベンチマークである。
連続したデータストリーム上の教師なし学習の実践シナリオ下で、深度補完モデルをベンチマークする。
論文 参考訳(メタデータ) (2024-10-23T17:56:33Z) - Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳(メタデータ) (2024-10-10T10:58:41Z) - Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。
再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。
MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文 参考訳(メタデータ) (2024-04-23T16:01:33Z) - Stealing Stable Diffusion Prior for Robust Monocular Depth Estimation [33.140210057065644]
本稿では, 単分子深度推定に先立って, ステアリング安定拡散 (SSD) という新しい手法を提案する。
このアプローチは、安定拡散を利用して、挑戦的な条件を模倣した合成画像を生成することにより、この制限に対処する。
このアプローチの有効性は、nuScenesとOxford RobotCarで評価されている。
論文 参考訳(メタデータ) (2024-03-08T05:06:31Z) - MAL: Motion-Aware Loss with Temporal and Distillation Hints for Self-Supervised Depth Estimation [21.32581390211547]
Motion-Aware Loss(モーション・アウェア・ロス)は、複数フレームの自己監督型単眼深度推定手法にシームレスに統合するために設計された新しいプラグアンドプレイモジュールである。
MALは、KITTIとCityScapesベンチマークでそれぞれ4.2%と10.8%の深さ推定誤差を減少させる。
論文 参考訳(メタデータ) (2024-02-18T08:34:15Z) - Robust Geometry-Preserving Depth Estimation Using Differentiable
Rendering [93.94371335579321]
我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。
包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。
我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
論文 参考訳(メタデータ) (2023-09-18T12:36:39Z) - New metrics for analyzing continual learners [27.868967961503962]
継続学習(CL)は、標準的な学習アルゴリズムに課題をもたらす。
この安定性・塑性ジレンマはCLの中心であり、安定性と塑性を個別に適切に測定するために複数の測定基準が提案されている。
課題の難しさを考慮に入れた新しい指標を提案する。
論文 参考訳(メタデータ) (2023-09-01T13:53:33Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳(メタデータ) (2022-11-07T16:17:47Z) - Learn to Adapt for Monocular Depth Estimation [17.887575611570394]
逆深度推定タスクを提案し,メタラーニングのパイプラインでモデルを訓練する。
提案手法は,テスト手順中の数ステップのトレーニングの後,新しいデータセットに順応する。
論文 参考訳(メタデータ) (2022-03-26T06:49:22Z) - Occlusion-Aware Self-Supervised Monocular 6D Object Pose Estimation [88.8963330073454]
自己教師付き学習による新しい単眼6次元ポーズ推定手法を提案する。
ノイズの多い学生のトレーニングと差別化可能なレンダリングの現在の傾向を活用して、モデルをさらに自己監督する。
提案する自己超越法は,合成データに依存する他の方法よりも優れている。
論文 参考訳(メタデータ) (2022-03-19T15:12:06Z) - Unsupervised Monocular Depth Learning with Integrated Intrinsics and
Spatio-Temporal Constraints [61.46323213702369]
本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。
本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
論文 参考訳(メタデータ) (2020-11-02T22:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。