論文の概要: Mining Supervision for Dynamic Regions in Self-Supervised Monocular Depth Estimation

• arxiv url: http://arxiv.org/abs/2404.14908v1
• Date: Tue, 23 Apr 2024 10:51:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 14:31:13.194794
• Title: Mining Supervision for Dynamic Regions in Self-Supervised Monocular Depth Estimation
• Title（参考訳）: 自己監督単分子深度推定における動的領域のマイニング・スーパービジョン
• Authors: Hoang Chuong Nguyen, Tianyu Wang, Jose M. Alvarez, Miaomiao Liu,
• Abstract要約: 既存の手法では、画像再構成損失を中心に、画素の深さと動きを共同で推定する。 動的領域1は、深度と動きの推定に固有の曖昧さのため、これらの手法にとって重要な課題である。 本稿では,動的領域に対する擬似深度ラベルをトレーニングデータから活用する自己教師型トレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 23.93080319283679
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper focuses on self-supervised monocular depth estimation in dynamic scenes trained on monocular videos. Existing methods jointly estimate pixel-wise depth and motion, relying mainly on an image reconstruction loss. Dynamic regions1 remain a critical challenge for these methods due to the inherent ambiguity in depth and motion estimation, resulting in inaccurate depth estimation. This paper proposes a self-supervised training framework exploiting pseudo depth labels for dynamic regions from training data. The key contribution of our framework is to decouple depth estimation for static and dynamic regions of images in the training data. We start with an unsupervised depth estimation approach, which provides reliable depth estimates for static regions and motion cues for dynamic regions and allows us to extract moving object information at the instance level. In the next stage, we use an object network to estimate the depth of those moving objects assuming rigid motions. Then, we propose a new scale alignment module to address the scale ambiguity between estimated depths for static and dynamic regions. We can then use the depth labels generated to train an end-to-end depth estimation network and improve its performance. Extensive experiments on the Cityscapes and KITTI datasets show that our self-training strategy consistently outperforms existing self/unsupervised depth estimation methods.
• Abstract（参考訳）: 本稿では,モノクラー映像を用いた動的シーンにおける自己教師付きモノクラー深度推定に焦点を当てた。 既存の手法では、画像再構成損失を中心に、画素の深さと動きを共同で推定する。 動的領域1は、深さのあいまいさと動きの推定によって不正確な深さ推定をもたらすため、これらの手法にとって重要な課題である。 本稿では,動的領域に対する擬似深度ラベルをトレーニングデータから活用する自己教師型トレーニングフレームワークを提案する。 このフレームワークの主な貢献は、トレーニングデータ中の画像の静的領域と動的領域の深さ推定を分離することである。 まず、静的領域に対する信頼性の高い深さ推定と動的領域に対する動作キューを提供し、インスタンスレベルで移動対象情報を抽出できるようにする、教師なしの深さ推定手法から始める。 次の段階では、剛体運動を仮定した移動物体の深さを推定するためにオブジェクトネットワークを用いる。 そこで本稿では,静的領域と動的領域における推定深度間のスケールのあいまいさに対処する,新しいスケールアライメントモジュールを提案する。 次に、生成した深度ラベルを用いて、エンドツーエンドの深度推定ネットワークをトレーニングし、その性能を向上させる。 CityscapesとKITTIデータセットの大規模な実験は、我々の自己学習戦略が既存の自己監督深度推定方法より一貫して優れていることを示している。

関連論文リスト

• D$^3$epth: Self-Supervised Depth Estimation with Dynamic Mask in Dynamic Scenes [23.731667977542454]
  D$3$epthは動的シーンにおける自己教師付き深度推定の新しい手法である。 これは2つの重要な視点から、動的オブジェクトの課題に取り組む。 既存の自己教師付き単分子深度推定ベースラインよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-11-07T16:07:00Z)
• ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation [62.600382533322325]
  本研究では,新しい単分子深度推定法であるScaleDepthを提案する。 提案手法は,距離深度をシーンスケールと相対深度に分解し,セマンティック・アウェア・スケール予測モジュールを用いて予測する。 本手法は,室内と屋外の両方のシーンを統一した枠組みで距離推定する。
  論文  参考訳（メタデータ） (2024-07-11T05:11:56Z)
• Manydepth2: Motion-Aware Self-Supervised Multi-Frame Monocular Depth Estimation in Dynamic Scenes [45.070725750859786]
  動的オブジェクトと静的背景の両方に対して正確な深度推定を実現するため,Marydepth2を提案する。 動的コンテンツによって引き起こされる課題に対処するために、光学的流れと粗い単分子深度を取り入れて擬似静的参照フレームを作成する。 このフレームを使用して、バニラターゲットフレームと協調してモーション対応のコストボリュームを構築する。
  論文  参考訳（メタデータ） (2023-12-23T14:36:27Z)
• Dynamo-Depth: Fixing Unsupervised Depth Estimation for Dynamical Scenes [40.46121828229776]
  ダイナモ・ディープス(Dynamo-Depth)は、単分子深度、3次元独立流れ場、およびラベルなし単分子ビデオからの運動セグメンテーションを共同学習することにより、動的運動を曖昧にするアプローチである。 提案手法は,移動物体の深度を著しく改善したオープンおよびヌースシーンにおける単眼深度推定における最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-10-29T03:24:16Z)
• Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering [93.94371335579321]
  我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
  論文  参考訳（メタデータ） (2023-09-18T12:36:39Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• SelfTune: Metrically Scaled Monocular Depth Estimation through Self-Supervised Learning [53.78813049373321]
  本稿では,事前学習した教師付き単分子深度ネットワークに対する自己教師付き学習手法を提案する。 本手法は移動ロボットナビゲーションなどの様々な応用に有用であり,多様な環境に適用可能である。
  論文  参考訳（メタデータ） (2022-03-10T12:28:42Z)
• X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
  そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
  論文  参考訳（メタデータ） (2021-10-24T19:47:14Z)
• DnD: Dense Depth Estimation in Crowded Dynamic Indoor Scenes [68.38952377590499]
  複雑な屋内環境の中を移動する単眼カメラから奥行きを推定するための新しい手法を提案する。 提案手法は,静的な背景と複数の移動する人物からなるシーン全体にわたる絶対規模の深度マップを推定する。
  論文  参考訳（メタデータ） (2021-08-12T09:12:39Z)
• Self-Supervised Joint Learning Framework of Depth Estimation via Implicit Cues [24.743099160992937]
  深度推定のための自己教師型共同学習フレームワークを提案する。 提案するフレームワークは,KITTIおよびMake3Dデータセット上での最先端(SOTA)よりも優れている。
  論文  参考訳（メタデータ） (2020-06-17T13:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。