論文の概要: Disentangling Object Motion and Occlusion for Unsupervised Multi-frame Monocular Depth

• arxiv url: http://arxiv.org/abs/2203.15174v1
• Date: Tue, 29 Mar 2022 01:36:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 12:44:04.394738
• Title: Disentangling Object Motion and Occlusion for Unsupervised Multi-frame Monocular Depth
• Title（参考訳）: 教師なし多フレーム単眼深度に対する物体運動と咬合の遠ざかる
• Authors: Ziyue Feng, Liang Yang, Longlong Jing, Haiyan Wang, YingLi Tian, Bing Li
• Abstract要約: 既存の動的対象に焦点をあてた手法は、トレーニング損失レベルのミスマッチ問題を部分的に解決しただけである。 本稿では,これらの問題を予測レベルと監督損失レベルの両方で解くために,新しい多フレーム単眼深度予測法を提案する。 我々の手法はDynamicDepthと呼ばれ、自己教師付きサイクル一貫性学習スキームによって訓練された新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 37.021579239596164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional self-supervised monocular depth prediction methods are based on a static environment assumption, which leads to accuracy degradation in dynamic scenes due to the mismatch and occlusion problems introduced by object motions. Existing dynamic-object-focused methods only partially solved the mismatch problem at the training loss level. In this paper, we accordingly propose a novel multi-frame monocular depth prediction method to solve these problems at both the prediction and supervision loss levels. Our method, called DynamicDepth, is a new framework trained via a self-supervised cycle consistent learning scheme. A Dynamic Object Motion Disentanglement (DOMD) module is proposed to disentangle object motions to solve the mismatch problem. Moreover, novel occlusion-aware Cost Volume and Re-projection Loss are designed to alleviate the occlusion effects of object motions. Extensive analyses and experiments on the Cityscapes and KITTI datasets show that our method significantly outperforms the state-of-the-art monocular depth prediction methods, especially in the areas of dynamic objects. Our code will be made publicly available.
• Abstract（参考訳）: 従来の自己監督型単眼深度予測法は静的環境仮定に基づいており、物体の動きによって生じるミスマッチや閉塞の問題により動的シーンの精度が低下する。 既存の動的対象に着目した手法は、トレーニング損失レベルのミスマッチ問題を部分的に解決しただけである。 本稿では,これらの問題を予測と監督損失レベルの両方で解くために,新しい多フレーム単眼深度予測法を提案する。 提案手法はdynamicdepthと呼ばれ,自己教師付きサイクル一貫性学習方式を用いて学習する新しいフレームワークである。 このミスマッチ問題を解決するために,動的物体運動不等角化(domd)モジュールを提案する。 さらに, 物体運動の閉塞効果を軽減するために, 新たな閉塞量と再投射損失が設計された。 都市景観とKITTIデータセットの大規模解析と実験により,我々の手法は,特に動的物体の領域において,最先端のモノクル深度予測法よりも著しく優れていることが示された。 私たちのコードは公開されます。

関連論文リスト

• DynaVINS++: Robust Visual-Inertial State Estimator in Dynamic Environments by Adaptive Truncated Least Squares and Stable State Recovery [11.37707868611451]
  我々はmboxtextitDynaVINS++と呼ばれる堅牢なVINSフレームワークを提案する。 我々のアプローチは、突然の動的オブジェクトを含む動的環境における有望なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-10-20T12:13:45Z)
• FlowDepth: Decoupling Optical Flow for Self-Supervised Monocular Depth Estimation [8.78717459496649]
  本稿では,ダイナミックモーションフローモジュール (DMFM) が機構ベースのアプローチで光学フローを分離し,動的領域をワープし,ミスマッチ問題を解くフローDepthを提案する。 高フレック領域と低テクスチャ領域による光度誤差の不公平性については,入力と損失レベルでそれぞれDepth-Cue-Aware Blur(DCABlur)とCost-Volumeの空間損失を用いて解決する。
  論文  参考訳（メタデータ） (2024-03-28T10:31:23Z)
• Dynamo-Depth: Fixing Unsupervised Depth Estimation for Dynamical Scenes [40.46121828229776]
  ダイナモ・ディープス(Dynamo-Depth)は、単分子深度、3次元独立流れ場、およびラベルなし単分子ビデオからの運動セグメンテーションを共同学習することにより、動的運動を曖昧にするアプローチである。 提案手法は,移動物体の深度を著しく改善したオープンおよびヌースシーンにおける単眼深度推定における最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-10-29T03:24:16Z)
• DeNoising-MOT: Towards Multiple Object Tracking with Severe Occlusions [52.63323657077447]
  DNMOTは、複数のオブジェクト追跡のためのエンドツーエンドのトレーニング可能なDeNoising Transformerである。 具体的には、トレーニング中にノイズを伴って軌道を拡大し、エンコーダ・デコーダアーキテクチャのデノイング過程をモデルに学習させる。 我々はMOT17,MOT20,DanceTrackのデータセットについて広範な実験を行い,実験結果から,提案手法が従来の最先端手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2023-09-09T04:40:01Z)
• MonoTDP: Twin Depth Perception for Monocular 3D Object Detection in Adverse Scenes [49.21187418886508]
  本論文は,モノTDP(MonoTDP)と呼ばれる悪シーンにおける2つの深度を知覚するモノクル3次元検出モデルを提案する。 まず、制御不能な気象条件を扱うモデルを支援するための適応学習戦略を導入し、様々な劣化要因による劣化を著しく抑制する。 そこで本研究では, シーン深度と物体深度を同時に推定する新たな2つの深度認識モジュールを提案する。
  論文  参考訳（メタデータ） (2023-05-18T13:42:02Z)
• Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth Estimation in Dynamic Scenes [19.810725397641406]
  シーン深度と3次元運動場を協調的に予測する新しいDyna-Depthformerフレームワークを提案する。 まず,多視点の相関を一連の自己・横断的層を通じて活用し,深度特徴表現の強化を図る。 第2に,動的物体の運動場をセマンティック・プレセプションを使わずに推定するワーピングに基づく運動ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-01-14T09:43:23Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular Depth Estimation by Integrating IMU Motion Dynamics [74.1720528573331]
  教師なし単眼深度と自我運動推定は近年広く研究されている。 我々は、視覚情報とIMUモーションダイナミクスを統合した新しいスケールアウェアフレームワークDynaDepthを提案する。 我々は、KITTIおよびMake3Dデータセット上で広範囲な実験とシミュレーションを行うことにより、DynaDepthの有効性を検証する。
  論文  参考訳（メタデータ） (2022-07-11T07:50:22Z)
• Attentive and Contrastive Learning for Joint Depth and Motion Field Estimation [76.58256020932312]
  単眼視システムからシーンの3次元構造とともにカメラの動きを推定することは複雑な作業である。 モノクロ映像からの3次元物体運動場推定のための自己教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T16:45:01Z)
• Self-Supervised Joint Learning Framework of Depth Estimation via Implicit Cues [24.743099160992937]
  深度推定のための自己教師型共同学習フレームワークを提案する。 提案するフレームワークは,KITTIおよびMake3Dデータセット上での最先端(SOTA)よりも優れている。
  論文  参考訳（メタデータ） (2020-06-17T13:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。