論文の概要: Self-Supervised Joint Learning Framework of Depth Estimation via
Implicit Cues
- arxiv url: http://arxiv.org/abs/2006.09876v3
- Date: Fri, 26 Jun 2020 07:11:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 21:01:58.030050
- Title: Self-Supervised Joint Learning Framework of Depth Estimation via
Implicit Cues
- Title(参考訳): 入射キューによる深度推定の自己教師付き共同学習フレームワーク
- Authors: Jianrong Wang and Ge Zhang and Zhenyu Wu and XueWei Li and Li Liu
- Abstract要約: 深度推定のための自己教師型共同学習フレームワークを提案する。
提案するフレームワークは,KITTIおよびMake3Dデータセット上での最先端(SOTA)よりも優れている。
- 参考スコア(独自算出の注目度): 24.743099160992937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In self-supervised monocular depth estimation, the depth discontinuity and
motion objects' artifacts are still challenging problems. Existing
self-supervised methods usually utilize a single view to train the depth
estimation network. Compared with static views, abundant dynamic properties
between video frames are beneficial to refined depth estimation, especially for
dynamic objects. In this work, we propose a novel self-supervised joint
learning framework for depth estimation using consecutive frames from monocular
and stereo videos. The main idea is using an implicit depth cue extractor which
leverages dynamic and static cues to generate useful depth proposals. These
cues can predict distinguishable motion contours and geometric scene
structures. Furthermore, a new high-dimensional attention module is introduced
to extract clear global transformation, which effectively suppresses
uncertainty of local descriptors in high-dimensional space, resulting in a more
reliable optimization in learning framework. Experiments demonstrate that the
proposed framework outperforms the state-of-the-art(SOTA) on KITTI and Make3D
datasets.
- Abstract(参考訳): 自己教師付き単眼深度推定では、深度の不連続性と運動物体のアーティファクトは依然として困難な問題である。
既存の自己管理手法は、通常は1つのビューを使って深さ推定ネットワークを訓練する。
静的なビューと比較すると、ビデオフレーム間の豊富な動的特性は、特に動的オブジェクトの奥行き推定に有用である。
本研究では,単眼映像とステレオ映像の連続フレームを用いた深度推定のための自己教師あり共同学習フレームワークを提案する。
主なアイデアは、動的および静的なキューを活用して有用な深さ提案を生成する暗黙の深さキュー抽出器である。
これらのキューは、区別可能な運動輪郭と幾何学的シーン構造を予測することができる。
さらに,高次元空間における局所記述子の不確実性を効果的に抑制し,より信頼性の高い学習フレームワークを実現するために,新たな高次元アテンションモジュールを導入する。
実験により、提案フレームワークは、KITTIおよびMake3Dデータセット上での最先端(SOTA)よりも優れていることが示された。
関連論文リスト
- DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳(メタデータ) (2024-03-09T12:22:46Z) - MGDepth: Motion-Guided Cost Volume For Self-Supervised Monocular Depth
In Dynamic Scenarios [47.33082977365344]
MGDepthは、動的オブジェクトと静的背景の両方の正確な深さ推定を実現するために、モーションガイド付きコストボリューム深さネットである。
MGDepthは、KITTI-2015データセット上での自己教師付き単分子深度推定において、ルート平均二乗誤差を約7%削減する。
論文 参考訳(メタデータ) (2023-12-23T14:36:27Z) - GasMono: Geometry-Aided Self-Supervised Monocular Depth Estimation for
Indoor Scenes [47.76269541664071]
本稿では,フレームと低テクスチャの大きな回転に起因する屋内シーンにおける自己教師型単眼深度推定の課題に対処する。
モノクラーシーケンスから粗いカメラポーズを多視点形状で取得し,前者に対応する。
低テクスチャの効果を和らげるために、視覚変換器のグローバルな推論と過度に適合する反復的な自己蒸留機構を組み合わせる。
論文 参考訳(メタデータ) (2023-09-26T17:59:57Z) - Robust Geometry-Preserving Depth Estimation Using Differentiable
Rendering [93.94371335579321]
我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。
包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。
我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
論文 参考訳(メタデータ) (2023-09-18T12:36:39Z) - Multi-Frame Self-Supervised Depth Estimation with Multi-Scale Feature
Fusion in Dynamic Scenes [25.712707161201802]
マルチフレーム手法は単一フレームアプローチによる単眼深度推定を改善する。
最近の手法では、特徴マッチングと動的シーンのための複雑なアーキテクチャを提案する傾向がある。
単純な学習フレームワークと設計された機能拡張が、優れたパフォーマンスをもたらすことを示す。
論文 参考訳(メタデータ) (2023-03-26T05:26:30Z) - Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth
Estimation in Dynamic Scenes [19.810725397641406]
シーン深度と3次元運動場を協調的に予測する新しいDyna-Depthformerフレームワークを提案する。
まず,多視点の相関を一連の自己・横断的層を通じて活用し,深度特徴表現の強化を図る。
第2に,動的物体の運動場をセマンティック・プレセプションを使わずに推定するワーピングに基づく運動ネットワークを提案する。
論文 参考訳(メタデータ) (2023-01-14T09:43:23Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳(メタデータ) (2022-11-07T16:17:47Z) - Self-Guided Instance-Aware Network for Depth Completion and Enhancement [6.319531161477912]
既存の手法では,画素ワイド画像の内容とそれに対応する近傍の深度値に基づいて,欠落した深度測定を直接補間する。
本稿では、自己誘導機構を利用して、深度復元に必要なインスタンスレベルの特徴を抽出する自己誘導型インスタンス認識ネットワーク(SG-IANet)を提案する。
論文 参考訳(メタデータ) (2021-05-25T19:41:38Z) - Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection
Consistency [114.02182755620784]
本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。
筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
論文 参考訳(メタデータ) (2021-02-04T14:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。