論文の概要: Monocular Depth Estimation through Virtual-world Supervision and Real-world SfM Self-Supervision

• arxiv url: http://arxiv.org/abs/2103.12209v1
• Date: Mon, 22 Mar 2021 22:33:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-24 13:57:33.225424
• Title: Monocular Depth Estimation through Virtual-world Supervision and Real-world SfM Self-Supervision
• Title（参考訳）: 仮想世界監督と実世界sfm自己監視による単眼深度推定
• Authors: Akhil Gurram, Ahmet Faruk Tuna, Fengyi Shen, Onay Urfalioglu, and Antonio M. L\'opez
• Abstract要約: 仮想世界監視(MonoDEVS)と実世界SfM自己監督による単眼深度推定を行う。 われわれのMonoDEVSNetは、モノクレオシークエンスやステレオシークエンスで訓練された以前のMDE CNNよりも優れています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth information is essential for on-board perception in autonomous driving and driver assistance. Monocular depth estimation (MDE) is very appealing since it allows for appearance and depth being on direct pixelwise correspondence without further calibration. Best MDE models are based on Convolutional Neural Networks (CNNs) trained in a supervised manner, i.e., assuming pixelwise ground truth (GT). Usually, this GT is acquired at training time through a calibrated multi-modal suite of sensors. However, also using only a monocular system at training time is cheaper and more scalable. This is possible by relying on structure-from-motion (SfM) principles to generate self-supervision. Nevertheless, problems of camouflaged objects, visibility changes, static-camera intervals, textureless areas, and scale ambiguity, diminish the usefulness of such self-supervision. In this paper, we perform monocular depth estimation by virtual-world supervision (MonoDEVS) and real-world SfM self-supervision. We compensate the SfM self-supervision limitations by leveraging virtual-world images with accurate semantic and depth supervision and addressing the virtual-to-real domain gap. Our MonoDEVSNet outperforms previous MDE CNNs trained on monocular and even stereo sequences.
• Abstract（参考訳）: 深度情報は、自動運転と運転支援における車載認識に不可欠である。 単眼深度推定(mde)は、さらなるキャリブレーションを必要とせず、直角対応での外観と深さを許容するので、非常に魅力的である。 最良のmdeモデルは畳み込みニューラルネットワーク(convolutional neural networks:cnns)に基づいて、教師ありの方法でトレーニングされる。 通常、このGTは校正されたマルチモーダルセンサーによって訓練時に取得される。 しかし、トレーニング時に単眼システムのみを使用することは安価でスケーラブルである。 これは、自己超越を生成するために構造移動(SfM)の原則に頼ることで実現される。 しかし, カモフラージュされた物体の問題, 視認性の変化, 静止カメラ間隔, 無テクスチャ領域, スケールあいまいさなどにより, 自己超越の有用性は低下する。 本稿では,仮想世界監視(MonoDEVS)と実世界SfM自己監督による単眼深度推定を行う。 本研究は,仮想世界画像の正確な意味的,奥行きの監督と仮想から実への領域間ギャップの解消により,sfmの自己スーパービジョン制約を補償する。 われわれのMonoDEVSNetは、モノクレオシークエンスやステレオシークエンスで訓練された以前のMDE CNNより優れている。

関連論文リスト

• MonoSelfRecon: Purely Self-Supervised Explicit Generalizable 3D Reconstruction of Indoor Scenes from Monocular RGB Views [4.570455747723325]
  MonoSelfReconは、Voxel-SDFを純粋に自己スーパービジョンすることで、モノキュラーRGBビューを備えた一般化可能な屋内シーンの3Dメッシュ再構築を実現する。 我々は、純粋な自己監督を支援するだけでなく、教師付き信号とともに、教師付き訓練をさらに促進するために使用できる新しい自己監督的損失を提案する。
  論文  参考訳（メタデータ） (2024-04-10T05:41:05Z)
• GasMono: Geometry-Aided Self-Supervised Monocular Depth Estimation for Indoor Scenes [47.76269541664071]
  本稿では,フレームと低テクスチャの大きな回転に起因する屋内シーンにおける自己教師型単眼深度推定の課題に対処する。 モノクラーシーケンスから粗いカメラポーズを多視点形状で取得し,前者に対応する。 低テクスチャの効果を和らげるために、視覚変換器のグローバルな推論と過度に適合する反復的な自己蒸留機構を組み合わせる。
  論文  参考訳（メタデータ） (2023-09-26T17:59:57Z)
• MonoViT: Self-Supervised Monocular Depth Estimation with a Vision Transformer [52.0699787446221]
  自己教師付き単眼深度推定の柔軟性とViTモデルにより実現された大域的推論の枠組みであるMonoViTを提案する。 平易な畳み込みとTransformerブロックを組み合わせることで、我々のモデルは局所的かつグローバルに推論し、より詳細な精度と精度で深度予測を行うことができる。
  論文  参考訳（メタデータ） (2022-08-06T16:54:45Z)
• Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular Depth Estimation by Integrating IMU Motion Dynamics [74.1720528573331]
  教師なし単眼深度と自我運動推定は近年広く研究されている。 我々は、視覚情報とIMUモーションダイナミクスを統合した新しいスケールアウェアフレームワークDynaDepthを提案する。 我々は、KITTIおよびMake3Dデータセット上で広範囲な実験とシミュレーションを行うことにより、DynaDepthの有効性を検証する。
  論文  参考訳（メタデータ） (2022-07-11T07:50:22Z)
• Occlusion-Aware Self-Supervised Monocular 6D Object Pose Estimation [88.8963330073454]
  自己教師付き学習による新しい単眼6次元ポーズ推定手法を提案する。 ノイズの多い学生のトレーニングと差別化可能なレンダリングの現在の傾向を活用して、モデルをさらに自己監督する。 提案する自己超越法は,合成データに依存する他の方法よりも優れている。
  論文  参考訳（メタデータ） (2022-03-19T15:12:06Z)
• SelfTune: Metrically Scaled Monocular Depth Estimation through Self-Supervised Learning [53.78813049373321]
  本稿では,事前学習した教師付き単分子深度ネットワークに対する自己教師付き学習手法を提案する。 本手法は移動ロボットナビゲーションなどの様々な応用に有用であり,多様な環境に適用可能である。
  論文  参考訳（メタデータ） (2022-03-10T12:28:42Z)
• Calibrating Self-supervised Monocular Depth Estimation [77.77696851397539]
  近年、ニューラルネットワークが深度を学習し、画像のシーケンスに変化を起こさせる能力を示す方法は、訓練信号として自己スーパービジョンのみを使用している。 カメラの構成や環境に関する事前情報を取り入れることで,センサの追加に頼ることなく,自己教師型定式化を用いて,スケールのあいまいさを排除し,深度を直接予測できることを示す。
  論文  参考訳（メタデータ） (2020-09-16T14:35:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。