論文の概要: Unsupervised Learning of Depth, Optical Flow and Pose with Occlusion from 3D Geometry

• arxiv url: http://arxiv.org/abs/2003.00766v3
• Date: Thu, 20 Aug 2020 05:26:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 05:24:24.259631
• Title: Unsupervised Learning of Depth, Optical Flow and Pose with Occlusion from 3D Geometry
• Title（参考訳）: 3次元幾何学による奥行き・光流・詩の教師なし学習
• Authors: Guangming Wang, Chi Zhang, Hesheng Wang, Jingchuan Wang, Yong Wang, Xinlei Wang
• Abstract要約: 本稿では,中間フレームの画素を剛性領域,非剛性領域,隠蔽領域の3つの部分にモデル化する。 奥行きとポーズの非教師による共同トレーニングでは、隠蔽領域を明示的に区分することができる。 閉鎖領域では、深度とカメラの動きがより信頼性の高い動き推定を提供するため、光学流の教師なし学習の指導に使用できる。
• 参考スコア（独自算出の注目度）: 29.240108776329045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In autonomous driving, monocular sequences contain lots of information. Monocular depth estimation, camera ego-motion estimation and optical flow estimation in consecutive frames are high-profile concerns recently. By analyzing tasks above, pixels in the middle frame are modeled into three parts: the rigid region, the non-rigid region, and the occluded region. In joint unsupervised training of depth and pose, we can segment the occluded region explicitly. The occlusion information is used in unsupervised learning of depth, pose and optical flow, as the image reconstructed by depth-pose and optical flow will be invalid in occluded regions. A less-than-mean mask is designed to further exclude the mismatched pixels interfered with by motion or illumination change in the training of depth and pose networks. This method is also used to exclude some trivial mismatched pixels in the training of the optical flow network. Maximum normalization is proposed for depth smoothness term to restrain depth degradation in textureless regions. In the occluded region, as depth and camera motion can provide more reliable motion estimation, they can be used to instruct unsupervised learning of optical flow. Our experiments in KITTI dataset demonstrate that the model based on three regions, full and explicit segmentation of the occlusion region, the rigid region, and the non-rigid region with corresponding unsupervised losses can improve performance on three tasks significantly. The source code is available at: https://github.com/guangmingw/DOPlearning.
• Abstract（参考訳）: 自動運転では、モノキュラーシーケンスには多くの情報が含まれている。 近年,単眼深度推定,カメラエゴモーション推定,光学フロー推定が注目されている。 上記のタスクを解析することにより、中間フレームの画素は、剛性領域、非剛性領域、隠蔽領域の3つの部分にモデル化される。 深さとポーズの教師なしの合同訓練では、オクルード領域を明示的に分割することができる。 咬合情報は、奥行き位置と光流によって再構成された画像が閉塞領域では無効となるため、奥行き、ポーズ、光流れの教師なし学習に使用される。 奥行きとポーズネットワークのトレーニングにおいて、動きや照明の変化によって干渉される不一致画素をさらに排除するように設計された。 この方法は、光学フローネットワークのトレーニングにおいて、いくつかの自明な不一致画素を除外するためにも用いられる。 無テクスチャ領域の深さ劣化を抑制するために, 最大正規化法を提案する。 閉鎖領域では、深度とカメラの動きがより信頼性の高い動き推定を提供するため、光学流の教師なし学習の指導に使用できる。 KITTIデータセットを用いた実験により,オクルージョン領域,剛性領域,および非剛性領域の完全かつ明示的なセグメンテーションに基づくモデルが,教師なしの損失に対応することにより,3つのタスクのパフォーマンスが著しく向上することを示した。 ソースコードは、https://github.com/guangmingw/DOPlearning.comで入手できる。

関連論文リスト

• CbwLoss: Constrained Bidirectional Weighted Loss for Self-supervised Learning of Depth and Pose [13.581694284209885]
  光度差は、未ラベルのモノクロビデオから深度とカメラのポーズを推定するためにニューラルネットワークを訓練するために使用される。 本稿では,アフィン変換とビュー合成によって生じる流れ場と深さ構造の違いを利用して,移動物体とオクルージョンを取り扱う。 ネットワークを追加することなく、より意味的な情報と文脈的な情報を持つ特徴の差を測定することにより、テクスチャレス領域がモデル最適化に与える影響を緩和する。
  論文  参考訳（メタデータ） (2022-12-12T12:18:24Z)
• OPA-3D: Occlusion-Aware Pixel-Wise Aggregation for Monocular 3D Object Detection [51.153003057515754]
  OPA-3Dは、Occlusion-Aware Pixel-Wise Aggregationネットワークである。 密集した風景深度と、奥行きのある箱残量と物の境界箱を共同で推定する。 メインカーのカテゴリーでは最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-11-02T14:19:13Z)
• DevNet: Self-supervised Monocular Depth Learning via Density Volume Construction [51.96971077984869]
  単眼画像からの自己教師付き深度学習は、通常、時間的に隣接する画像フレーム間の2Dピクセル単位の光度関係に依存する。 本研究は, 自己教師型単眼深度学習フレームワークであるDevNetを提案する。
  論文  参考訳（メタデータ） (2022-09-14T00:08:44Z)
• End-to-end Learning for Joint Depth and Image Reconstruction from Diffracted Rotation [10.896567381206715]
  回折回転から深度を学習する新しいエンド・ツー・エンド学習手法を提案する。 提案手法は, 単分子深度推定のタスクにおいて既存の手法よりもはるかに少ない複雑なモデルと少ないトレーニングデータを必要とする。
  論文  参考訳（メタデータ） (2022-04-14T16:14:37Z)
• Learning Occlusion-Aware Coarse-to-Fine Depth Map for Self-supervised Monocular Depth Estimation [11.929584800629673]
  自己教師付き単眼深度推定のためのOcclusion-aware Coarse-to-Fine Depth Mapを学習するための新しいネットワークを提案する。 提案したOCFD-Netは,粗度深度マップの学習に離散深度制約を用いるだけでなく,シーン深度残差の学習にも連続深度制約を用いる。
  論文  参考訳（メタデータ） (2022-03-21T12:43:42Z)
• Self-supervised Learning of Occlusion Aware Flow Guided 3D Geometry Perception with Adaptive Cross Weighted Loss from Monocular Videos [5.481942307939029]
  自己教師型深層学習に基づく3次元シーン理解手法は,高密度にラベル付けされた地下構造を取得することの難しさを克服することができる。 本稿では,学習可能なオクルージョン認識型光学流ガイドによる自己監督深度とカメラポーズ推定について検討する。 提案手法は,KITTI,Make3D,Cityscapesの各データセットに対して,複数のタスクで有望な結果を示す。
  論文  参考訳（メタデータ） (2021-08-09T09:21:24Z)
• Self-Supervised Monocular Depth Estimation of Untextured Indoor Rotated Scenes [6.316693022958222]
  自己教師付き深層学習法はステレオ画像を利用して単眼深度推定の訓練を行っている。 これらの手法は, 室内環境における監視手法の性能とカメラ回転とを一致しない。 テクスチャレス領域における画像再構成誤りの曖昧さを補正する新しい不均一損失項を提案する。
  論文  参考訳（メタデータ） (2021-06-24T12:27:16Z)
• Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes [87.91841050957714]
  本稿では,ダイナミックシーンの深度推定のための非監視単眼フレームワークを提案する。 再構成した3次元点間の対数距離を日和見的に保存することを目的とした訓練目標を導出する。 提案手法は,非剛性シーンの挑戦的な映像から3Dを再構成する能力を実証し,有望な結果を提供する。
  論文  参考訳（メタデータ） (2020-12-31T16:02:03Z)
• Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
  まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。 そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
  論文  参考訳（メタデータ） (2020-12-17T02:35:13Z)
• SelfDeco: Self-Supervised Monocular Depth Completion in Challenging Indoor Environments [50.761917113239996]
  自己教師付き単分子深度補完のための新しいアルゴリズムを提案する。 提案手法は,深度ラベルを含まない疎深度測定とそれに対応する単眼ビデオシーケンスのみを必要とするニューラルネットワークのトレーニングに基づく。 我々の自己監督アルゴリズムは、テクスチャのない領域、光沢のない透明な表面、非ランバートの表面、動く人々、より長く多様な深度範囲、複雑なエゴモーションによって捉えられたシーンを含む屋内環境に挑戦するために設計されている。
  論文  参考訳（メタデータ） (2020-11-10T08:55:07Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。