論文の概要: From-Ground-To-Objects: Coarse-to-Fine Self-supervised Monocular Depth
Estimation of Dynamic Objects with Ground Contact Prior
- arxiv url: http://arxiv.org/abs/2312.10118v1
- Date: Fri, 15 Dec 2023 11:22:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 18:39:30.378485
- Title: From-Ground-To-Objects: Coarse-to-Fine Self-supervised Monocular Depth
Estimation of Dynamic Objects with Ground Contact Prior
- Title（参考訳）: グラウンド・トゥ・オブジェクト:接地前の動的物体の粗面から有限面への自己監督単眼深度推定
- Authors: Jaeho Moon, Juan Luis Gonzalez Bello, Byeongjun Kwon, Munchurl Kim
- Abstract要約: 移動物体の深度推定のための粗大な訓練戦略を提案する。
粗いトレーニング段階では、再投射損失計算から動的クラスのオブジェクトを除外する。
微妙な訓練段階において、再投射損失からオブジェクトの詳細な深さを学習するために、DECネットワークを洗練する。
- 参考スコア（独自算出の注目度）: 27.178810518086493
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised monocular depth estimation (DE) is an approach to learning
depth without costly depth ground truths. However, it often struggles with
moving objects that violate the static scene assumption during training. To
address this issue, we introduce a coarse-to-fine training strategy leveraging
the ground contacting prior based on the observation that most moving objects
in outdoor scenes contact the ground. In the coarse training stage, we exclude
the objects in dynamic classes from the reprojection loss calculation to avoid
inaccurate depth learning. To provide precise supervision on the depth of the
objects, we present a novel Ground-contacting-prior Disparity Smoothness Loss
(GDS-Loss) that encourages a DE network to align the depth of the objects with
their ground-contacting points. Subsequently, in the fine training stage, we
refine the DE network to learn the detailed depth of the objects from the
reprojection loss, while ensuring accurate DE on the moving object regions by
employing our regularization loss with a cost-volume-based weighting factor.
Our overall coarse-to-fine training strategy can easily be integrated with
existing DE methods without any modifications, significantly enhancing DE
performance on challenging Cityscapes and KITTI datasets, especially in the
moving object regions.
- Abstract（参考訳）: 自己教師付き単眼深度推定(de: self-supervised monocular depth estimation)は、コストのかかる基礎的真理を伴わない深さ学習へのアプローチである。
しかし、トレーニング中に静的なシーン仮定に反するオブジェクトの移動にしばしば苦労する。
この問題に対処するために,屋外シーンの移動物体の大半が地上に接触するという観測に基づいて,事前接地を利用した粗大な訓練戦略を導入する。
粗い訓練段階において、不正確な深度学習を避けるために、再投射損失計算から動的クラスの物体を除外する。
対象物の深度を精密に監視するために,DEMネットワークが対象物の深度を接地接触点と整合させることを奨励する,GDS-Loss(Gund-Contacting Preparity Smoothness Loss)を提案する。
次に, 精密な訓練段階において, deネットワークを洗練し, 再投影損失から物体の詳細な深さを学習し, 原価計算量に基づく重み付け係数を用いて, 移動対象領域の正確なdeを確保する。
我々の全体的な粗大なトレーニング戦略は、変更することなく既存のDEMメソッドと容易に統合することができ、特に移動対象領域において、挑戦的なCityscapesやKITTIデータセット上でのDDEパフォーマンスを大幅に向上させることができます。
関連論文リスト
- Simultaneous Map and Object Reconstruction [66.66729715211642]
本稿では,LiDARから大規模都市景観を動的に再現する手法を提案する。
我々は、最近の新しいビュー合成法から着想を得て、大域的な最適化として再構築問題を提起する。
連続動作の慎重なモデリングにより, 回転するLiDARセンサの回転シャッター効果を補うことができる。
論文 参考訳（メタデータ） (2024-06-19T23:53:31Z) - Mining Supervision for Dynamic Regions in Self-Supervised Monocular Depth Estimation [23.93080319283679]
既存の手法では、画像再構成損失を中心に、画素の深さと動きを共同で推定する。
動的領域1は、深度と動きの推定に固有の曖昧さのため、これらの手法にとって重要な課題である。
本稿では,動的領域に対する擬似深度ラベルをトレーニングデータから活用する自己教師型トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-23T10:51:15Z) - Robust Geometry-Preserving Depth Estimation Using Differentiable
Rendering [93.94371335579321]
我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。
包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。
我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
論文 参考訳（メタデータ） (2023-09-18T12:36:39Z) - Source-free Depth for Object Pop-out [113.24407776545652]
現代の学習に基づく手法は、野生での推論による有望な深度マップを提供する。
本研究では,オブジェクトの3次元前の「ポップアウト」を用いて,オブジェクトセグメンテーションの深度推定モデルを適用する。
8つのデータセットに対する我々の実験は、性能と一般化性の両方の観点から、我々の方法の利点を一貫して示している。
論文 参考訳（メタデータ） (2022-12-10T21:57:11Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳（メタデータ） (2022-11-07T16:17:47Z) - Domain Randomization-Enhanced Depth Simulation and Restoration for
Perceiving and Grasping Specular and Transparent Objects [28.84776177634971]
深度復元のための強力なRGBD融合ネットワークSwinDRNetを提案する。
また,ドメインランダム化強化深度シミュレーション(DREDS)によるアクティブステレオ深度システムのシミュレーションも提案する。
我々の深度復元は下流タスクの性能を効果的に向上させることを示す。
論文 参考訳（メタデータ） (2022-08-07T19:17:16Z) - Disentangling Object Motion and Occlusion for Unsupervised Multi-frame
Monocular Depth [37.021579239596164]
既存の動的対象に焦点をあてた手法は、トレーニング損失レベルのミスマッチ問題を部分的に解決しただけである。
本稿では,これらの問題を予測レベルと監督損失レベルの両方で解くために,新しい多フレーム単眼深度予測法を提案する。
我々の手法はDynamicDepthと呼ばれ、自己教師付きサイクル一貫性学習スキームによって訓練された新しいフレームワークである。
論文 参考訳（メタデータ） (2022-03-29T01:36:11Z) - DnD: Dense Depth Estimation in Crowded Dynamic Indoor Scenes [68.38952377590499]
複雑な屋内環境の中を移動する単眼カメラから奥行きを推定するための新しい手法を提案する。
提案手法は,静的な背景と複数の移動する人物からなるシーン全体にわたる絶対規模の深度マップを推定する。
論文 参考訳（メタデータ） (2021-08-12T09:12:39Z) - Occlusion-aware Unsupervised Learning of Depth from 4-D Light Fields [50.435129905215284]
4次元光場処理と解析のための教師なし学習に基づく深度推定法を提案する。
光場データの特異な幾何学構造に関する基礎知識に基づいて,光場ビューのサブセット間の角度コヒーレンスを探索し,深度マップを推定する。
提案手法は,従来の手法と同等の精度で計算コストを低減した深度マップを作成できる。
論文 参考訳（メタデータ） (2021-06-06T06:19:50Z) - Domain Adaptive Monocular Depth Estimation With Semantic Information [13.387521845596149]
ドメインギャップを狭めるためにセマンティック情報を活用した対比トレーニングモデルを提案する。
提案したコンパクトモデルは,複雑な最新モデルに匹敵する最先端性能を実現する。
論文 参考訳（メタデータ） (2021-04-12T18:50:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。