論文の概要: DiPE: Deeper into Photometric Errors for Unsupervised Learning of Depth
and Ego-motion from Monocular Videos
- arxiv url: http://arxiv.org/abs/2003.01360v3
- Date: Fri, 20 Nov 2020 06:31:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 23:19:06.915807
- Title: DiPE: Deeper into Photometric Errors for Unsupervised Learning of Depth
and Ego-motion from Monocular Videos
- Title（参考訳）: DiPE:単眼ビデオからの深度とエゴモーションの教師なし学習のための測光誤差の深化
- Authors: Hualie Jiang, Laiyan Ding, Zhenglong Sun and Rui Huang
- Abstract要約: 本稿では,光度誤差を慎重に操作することで,これらの問題に対処できることを示す。
主な改善は、測光誤差マップ内の見えないまたは静止しないピクセルを隠蔽する統計技術によって達成される。
また,予測深度マップのアーティファクトを削減するために,効率的な重み付きマルチスケールスキームを提案する。
- 参考スコア（独自算出の注目度）: 9.255509741319583
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised learning of depth and ego-motion from unlabelled monocular
videos has recently drawn great attention, which avoids the use of expensive
ground truth in the supervised one. It achieves this by using the photometric
errors between the target view and the synthesized views from its adjacent
source views as the loss. Despite significant progress, the learning still
suffers from occlusion and scene dynamics. This paper shows that carefully
manipulating photometric errors can tackle these difficulties better. The
primary improvement is achieved by a statistical technique that can mask out
the invisible or nonstationary pixels in the photometric error map and thus
prevents misleading the networks. With this outlier masking approach, the depth
of objects moving in the opposite direction to the camera can be estimated more
accurately. To the best of our knowledge, such scenarios have not been
seriously considered in the previous works, even though they pose a higher risk
in applications like autonomous driving. We also propose an efficient weighted
multi-scale scheme to reduce the artifacts in the predicted depth maps.
Extensive experiments on the KITTI dataset show the effectiveness of the
proposed approaches. The overall system achieves state-of-theart performance on
both depth and ego-motion estimation.
- Abstract（参考訳）: 教師なし単眼ビデオからの深度とエゴモーションの教師なし学習は近年注目され、教師付きビデオでは高価な地上真実の使用が避けられている。
ターゲットビューと隣接するソースビューからの合成ビュー間の測光誤差を損失として利用することで、これを実現する。
かなりの進歩にもかかわらず、学習は依然として閉塞とシーンダイナミクスに悩まされている。
本稿では,光度誤差を慎重に操作することで,これらの問題に対処できることを示す。
主な改善は、フォトメトリックエラーマップ内の見えないピクセルまたは非定常ピクセルをマスクして、ネットワークの誤解を防止できる統計的手法によって達成される。
この異常マスキングアプローチにより、カメラと反対方向に移動する物体の深さをより正確に推定することができる。
我々の知る限りでは、このようなシナリオは、自動運転のようなアプリケーションに高いリスクをもたらすにもかかわらず、以前の研究では真剣に検討されていない。
また,予測深度マップのアーティファクトを削減するために,効率的な重み付きマルチスケールスキームを提案する。
KITTIデータセットの大規模な実験により,提案手法の有効性が示された。
総合システムは,深度とエゴモーション推定の両方で最先端の性能を達成する。
関連論文リスト
- Uncertainty and Self-Supervision in Single-View Depth [0.8158530638728501]
シングルビューの深さ推定は、単一のビューから3次元幾何学を説明する複数の解が存在するため、不適切な問題である。
ディープニューラルネットワークは単一の視点から深度を捉えるのに有効であることが示されているが、現在の方法論の大半は本質的に決定論的である。
我々はベイジアンディープニューラルネットワークにおける教師付き単一視点深度の不確かさを定量化することでこの問題に対処した。
論文 参考訳（メタデータ） (2024-06-20T11:46:17Z) - Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular
Depth Estimation by Integrating IMU Motion Dynamics [74.1720528573331]
教師なし単眼深度と自我運動推定は近年広く研究されている。
我々は、視覚情報とIMUモーションダイナミクスを統合した新しいスケールアウェアフレームワークDynaDepthを提案する。
我々は、KITTIおよびMake3Dデータセット上で広範囲な実験とシミュレーションを行うことにより、DynaDepthの有効性を検証する。
論文 参考訳（メタデータ） (2022-07-11T07:50:22Z) - Unsupervised Monocular Depth Perception: Focusing on Moving Objects [5.489557739480878]
本稿では,光度誤差を意図的に操作することで,効率よく困難に対処できることを示す。
まず、光学誤差マップにおいて、隠蔽または動的画素を統計的外れ値として考慮した外れ値マスキング手法を提案する。
外部マスキングにより、ネットワークはカメラと反対方向に移動する物体の深さをより正確に学習する。
論文 参考訳（メタデータ） (2021-08-30T08:45:02Z) - Self-supervised Learning of Occlusion Aware Flow Guided 3D Geometry
Perception with Adaptive Cross Weighted Loss from Monocular Videos [5.481942307939029]
自己教師型深層学習に基づく3次元シーン理解手法は,高密度にラベル付けされた地下構造を取得することの難しさを克服することができる。
本稿では,学習可能なオクルージョン認識型光学流ガイドによる自己監督深度とカメラポーズ推定について検討する。
提案手法は,KITTI,Make3D,Cityscapesの各データセットに対して,複数のタスクで有望な結果を示す。
論文 参考訳（メタデータ） (2021-08-09T09:21:24Z) - Unsupervised Learning of Monocular Depth and Ego-Motion Using Multiple
Masks [14.82498499423046]
本稿では,モノクロ映像からの複数のマスクを用いた深度・エゴモーションの教師なし学習手法を提案する。
深度推定ネットワークとエゴモーション推定ネットワークは、真理値のない深度とエゴモーションの制約に応じて訓練される。
KITTIデータセットの実験は、深度と自我運動の点で良好なパフォーマンスを達成していることを示す。
論文 参考訳（メタデータ） (2021-04-01T12:29:23Z) - Unsupervised Depth and Ego-motion Estimation for Monocular Thermal Video
using Multi-spectral Consistency Loss [76.77673212431152]
本研究では,全日深度とエゴモーション推定のための教師なし学習手法を提案する。
提案手法はマルチスペクトル整合性損失を利用してネットワークを補完的に監視する。
提案手法で訓練されたネットワークは、低照度およびゼロ照度条件下での単眼熱ビデオの深度とポーズを堅牢に推定する。
論文 参考訳（メタデータ） (2021-03-01T05:29:04Z) - Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。
画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。
私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文 参考訳（メタデータ） (2021-02-21T05:24:18Z) - SAFENet: Self-Supervised Monocular Depth Estimation with Semantic-Aware
Feature Extraction [27.750031877854717]
本稿では,セマンティック情報を活用して光度損失の限界を克服するSAFENetを提案する。
私たちのキーとなるアイデアは、意味的知識と幾何学的知識を統合するセマンティック・アウェア・ディープ機能を活用することです。
KITTIデータセットの実験では、我々の手法が最先端の手法と競合するか、さらに優れています。
論文 参考訳（メタデータ） (2020-10-06T17:22:25Z) - Adaptive confidence thresholding for monocular depth estimation [83.06265443599521]
本稿では,自己教師付ステレオマッチング法から生成されたステレオ画像の擬似地上真実深度マップを利用する新しい手法を提案する。
擬似地底深度マップの信頼度マップを推定し、不正確な擬似地底深度マップによる性能劣化を緩和する。
実験結果から, 最先端の単分子深度推定法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2020-09-27T13:26:16Z) - Calibrating Self-supervised Monocular Depth Estimation [77.77696851397539]
近年、ニューラルネットワークが深度を学習し、画像のシーケンスに変化を起こさせる能力を示す方法は、訓練信号として自己スーパービジョンのみを使用している。
カメラの構成や環境に関する事前情報を取り入れることで,センサの追加に頼ることなく,自己教師型定式化を用いて,スケールのあいまいさを排除し,深度を直接予測できることを示す。
論文 参考訳（メタデータ） (2020-09-16T14:35:45Z) - Neural Ray Surfaces for Self-Supervised Learning of Depth and Ego-motion [51.19260542887099]
カメラモデルの事前知識を必要とせずに、自己超越を用いて正確な深度とエゴモーション推定を学習できることが示される。
Grossberg と Nayar の幾何学モデルにインスパイアされた我々は、ピクセルワイド射影線を表す畳み込みネットワークである Neural Ray Surfaces (NRS) を導入する。
本研究では,多種多様なカメラシステムを用いて得られた生ビデオから,視覚計測の自己教師付き学習と深度推定にNRSを用いることを実証する。
論文 参考訳（メタデータ） (2020-08-15T02:29:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。