論文の概要: MAL: Motion-Aware Loss with Temporal and Distillation Hints for Self-Supervised Depth Estimation

• arxiv url: http://arxiv.org/abs/2402.11507v2
• Date: Mon, 21 Oct 2024 03:13:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:11:25.637783
• Title: MAL: Motion-Aware Loss with Temporal and Distillation Hints for Self-Supervised Depth Estimation
• Title（参考訳）: MAL:自己監督深度推定のための時間・蒸留ヒント付き運動認識損失
• Authors: Yue-Jiang Dong, Fang-Lue Zhang, Song-Hai Zhang,
• Abstract要約: Motion-Aware Loss(モーション・アウェア・ロス)は、複数フレームの自己監督型単眼深度推定手法にシームレスに統合するために設計された新しいプラグアンドプレイモジュールである。 MALは、KITTIとCityScapesベンチマークでそれぞれ4.2%と10.8%の深さ推定誤差を減少させる。
• 参考スコア（独自算出の注目度）: 21.32581390211547
• License:
• Abstract: Depth perception is crucial for a wide range of robotic applications. Multi-frame self-supervised depth estimation methods have gained research interest due to their ability to leverage large-scale, unlabeled real-world data. However, the self-supervised methods often rely on the assumption of a static scene and their performance tends to degrade in dynamic environments. To address this issue, we present Motion-Aware Loss, which leverages the temporal relation among consecutive input frames and a novel distillation scheme between the teacher and student networks in the multi-frame self-supervised depth estimation methods. Specifically, we associate the spatial locations of moving objects with the temporal order of input frames to eliminate errors induced by object motion. Meanwhile, we enhance the original distillation scheme in multi-frame methods to better exploit the knowledge from a teacher network. MAL is a novel, plug-and-play module designed for seamless integration into multi-frame self-supervised monocular depth estimation methods. Adding MAL into previous state-of-the-art methods leads to a reduction in depth estimation errors by up to 4.2% and 10.8% on KITTI and CityScapes benchmarks, respectively.
• Abstract（参考訳）: 深度知覚は、幅広いロボット応用に不可欠である。 大規模でラベルのない実世界のデータを活用できるため,多フレーム自己監督深度推定手法が研究の関心を集めている。 しかし、自己教師型手法は静的なシーンの仮定に頼りがちであり、その性能は動的環境において劣化する傾向にある。 この問題を解決するために,複数フレームの自己監督深度推定法において,連続的な入力フレーム間の時間的関係と教師と学生のネットワーク間の新しい蒸留方式を利用するモーション・アウェア・ロスを提案する。 具体的には,移動物体の空間的位置と入力フレームの時間的順序を関連付け,物体の動きによる誤差を除去する。 一方,本研究では,教師ネットワークからの知識をより有効活用するために,マルチフレーム方式でオリジナルの蒸留方式を強化する。 MALは、マルチフレームの自己監督型単眼深度推定手法にシームレスに統合するために設計された、新しいプラグアンドプレイモジュールである。 従来の最先端手法にMALを追加すると、KITTIとCityScapesベンチマークでそれぞれ4.2%と10.8%の深さ推定誤差が減少する。

関連論文リスト

• D$^3$epth: Self-Supervised Depth Estimation with Dynamic Mask in Dynamic Scenes [23.731667977542454]
  D$3$epthは動的シーンにおける自己教師付き深度推定の新しい手法である。 これは2つの重要な視点から、動的オブジェクトの課題に取り組む。 既存の自己教師付き単分子深度推定ベースラインよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-11-07T16:07:00Z)
• SM4Depth: Seamless Monocular Metric Depth Estimation across Multiple Cameras and Scenes by One Model [72.0795843450604]
  現在のアプローチでは、さまざまなシーンで一貫した精度を維持する上で、課題に直面している。 これらの手法は、何千万、あるいは数千万のデータからなる広範囲なデータセットに依存している。 本稿では室内と屋外の両方でシームレスに機能するSM$4$Depthについて述べる。
  論文  参考訳（メタデータ） (2024-03-13T14:08:25Z)
• Continual Learning of Unsupervised Monocular Depth from Videos [19.43053045216986]
  連続的教師なし深度推定(CUDE)の課題を捉える枠組みを導入する。 本稿では,時間的整合性を利用したリハーサルベースのデュアルメモリ手法MonoDepthCLを提案する。
  論文  参考訳（メタデータ） (2023-11-04T12:36:07Z)
• Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth Estimation in Dynamic Scenes [19.810725397641406]
  シーン深度と3次元運動場を協調的に予測する新しいDyna-Depthformerフレームワークを提案する。 まず,多視点の相関を一連の自己・横断的層を通じて活用し,深度特徴表現の強化を図る。 第2に,動的物体の運動場をセマンティック・プレセプションを使わずに推定するワーピングに基づく運動ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-01-14T09:43:23Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular Depth Estimation by Integrating IMU Motion Dynamics [74.1720528573331]
  教師なし単眼深度と自我運動推定は近年広く研究されている。 我々は、視覚情報とIMUモーションダイナミクスを統合した新しいスケールアウェアフレームワークDynaDepthを提案する。 我々は、KITTIおよびMake3Dデータセット上で広範囲な実験とシミュレーションを行うことにより、DynaDepthの有効性を検証する。
  論文  参考訳（メタデータ） (2022-07-11T07:50:22Z)
• Disentangling Object Motion and Occlusion for Unsupervised Multi-frame Monocular Depth [37.021579239596164]
  既存の動的対象に焦点をあてた手法は、トレーニング損失レベルのミスマッチ問題を部分的に解決しただけである。 本稿では,これらの問題を予測レベルと監督損失レベルの両方で解くために,新しい多フレーム単眼深度予測法を提案する。 我々の手法はDynamicDepthと呼ばれ、自己教師付きサイクル一貫性学習スキームによって訓練された新しいフレームワークである。
  論文  参考訳（メタデータ） (2022-03-29T01:36:11Z)
• SelfTune: Metrically Scaled Monocular Depth Estimation through Self-Supervised Learning [53.78813049373321]
  本稿では,事前学習した教師付き単分子深度ネットワークに対する自己教師付き学習手法を提案する。 本手法は移動ロボットナビゲーションなどの様々な応用に有用であり,多様な環境に適用可能である。
  論文  参考訳（メタデータ） (2022-03-10T12:28:42Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)
• Self-Supervised Joint Learning Framework of Depth Estimation via Implicit Cues [24.743099160992937]
  深度推定のための自己教師型共同学習フレームワークを提案する。 提案するフレームワークは,KITTIおよびMake3Dデータセット上での最先端(SOTA)よりも優れている。
  論文  参考訳（メタデータ） (2020-06-17T13:56:59Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。