論文の概要: StructDepth: Leveraging the structural regularities for self-supervised indoor depth estimation

• arxiv url: http://arxiv.org/abs/2108.08574v1
• Date: Thu, 19 Aug 2021 09:26:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-20 14:32:13.217808
• Title: StructDepth: Leveraging the structural regularities for self-supervised indoor depth estimation
• Title（参考訳）: 構造深度:自己監督型室内深度推定のための構造規則の活用
• Authors: Boying Li, Yuan Huang, Zeyu Liu, Danping Zou, and Wenxian Yu
• Abstract要約: 自己教師付き単分子深度推定は、屋外データセットで印象的な性能を達成した。 しかし、その性能はテクスチャが不足しているため、特に屋内環境では劣化する。 屋内のシーンに現れる構造的規則性を活用して、より深いネットワークをトレーニングします。
• 参考スコア（独自算出の注目度）: 7.028319464940422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised monocular depth estimation has achieved impressive performance on outdoor datasets. Its performance however degrades notably in indoor environments because of the lack of textures. Without rich textures, the photometric consistency is too weak to train a good depth network. Inspired by the early works on indoor modeling, we leverage the structural regularities exhibited in indoor scenes, to train a better depth network. Specifically, we adopt two extra supervisory signals for self-supervised training: 1) the Manhattan normal constraint and 2) the co-planar constraint. The Manhattan normal constraint enforces the major surfaces (the floor, ceiling, and walls) to be aligned with dominant directions. The co-planar constraint states that the 3D points be well fitted by a plane if they are located within the same planar region. To generate the supervisory signals, we adopt two components to classify the major surface normal into dominant directions and detect the planar regions on the fly during training. As the predicted depth becomes more accurate after more training epochs, the supervisory signals also improve and in turn feedback to obtain a better depth model. Through extensive experiments on indoor benchmark datasets, the results show that our network outperforms the state-of-the-art methods. The source code is available at https://github.com/SJTU-ViSYS/StructDepth .
• Abstract（参考訳）: 自己教師付き単眼深度推定は、屋外データセットで印象的なパフォーマンスを達成している。 しかし、その性能はテクスチャの欠如により室内環境において顕著に低下する。 リッチなテクスチャがなければ、光度整合性は弱すぎて、優れた深度ネットワークをトレーニングできない。 室内モデルの初期研究に触発されて,室内シーンにおける構造的規則性を活用して,奥行きネットワークのトレーニングを行った。 具体的には, マンハッタン標準制約と共平面制約という, 自己監督訓練のための2つの余分な監視信号を採用する。 マンハッタンの通常の制約は、主要な表面(床、天井、壁)を支配的な方向に合わせるように強制する。 共平面の制約は、3D点が同じ平面領域内にある場合、平面によってうまく適合することを示している。 監視信号を生成するために,2つの成分を用いて主表面を主方向に分類し,訓練中の平面領域を検出する。 トレーニングエポック後の予測深度がより正確になるにつれて、監視信号も改善され、より優れた深度モデルが得られる。 屋内ベンチマークデータセットを広範囲に実験した結果,ネットワークは最先端の手法よりも優れていた。 ソースコードはhttps://github.com/SJTU-ViSYS/StructDepthで入手できる。

関連論文リスト

• DepthSplat: Connecting Gaussian Splatting and Depth [90.06180236292866]
  ガウススプラッティングと深さ推定を結合するDepthSplatを提案する。 まず,事前学習した単眼深度特徴を生かして,頑健な多眼深度モデルを提案する。 また,ガウス的スプラッティングは教師なし事前学習の目的として機能することを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:58Z)
• Plane2Depth: Hierarchical Adaptive Plane Guidance for Monocular Depth Estimation [38.81275292687583]
  平面情報を適応的に利用し,階層的なフレームワーク内での深度予測を改善するPlane2Depthを提案する。 提案する平面案内深度発生器 (PGDG) では, 現場の平面をソフトにモデル化し, 画素ごとの平面係数を予測するためのプロトタイプとして, 一連の平面クエリを設計する。 提案するアダプティブプレーンクエリアグリゲーション(APGA)モジュールでは,マルチスケール平面特徴のアグリゲーションを改善するために,新たな機能インタラクションアプローチを導入する。
  論文  参考訳（メタデータ） (2024-09-04T07:45:06Z)
• GAM-Depth: Self-Supervised Indoor Depth Estimation Leveraging a Gradient-Aware Mask and Semantic Constraints [12.426365333096264]
  本稿では,勾配認識マスクと意味制約という,2つの新しいコンポーネントをベースとしたGAM-Depthを提案する。 グラデーション対応マスクは、キー領域とテクスチャレス領域の両方の適応的かつ堅牢な監視を可能にする。 室内における自己監督深度推定のセマンティック制約の導入は、物体の境界における深度差を改善する。
  論文  参考訳（メタデータ） (2024-02-22T07:53:34Z)
• Deeper into Self-Supervised Monocular Indoor Depth Estimation [7.30562653023176]
  単分子配列から室内深度を自己教師付きで学習することは、研究者にとって非常に難しい。 本研究では,IndoorDepthという手法を2つのイノベーションから構成する。 NYUv2ベンチマークの実験では、私たちのIndoorDepthは従来の最先端の手法よりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2023-12-03T04:55:32Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• DevNet: Self-supervised Monocular Depth Learning via Density Volume Construction [51.96971077984869]
  単眼画像からの自己教師付き深度学習は、通常、時間的に隣接する画像フレーム間の2Dピクセル単位の光度関係に依存する。 本研究は, 自己教師型単眼深度学習フレームワークであるDevNetを提案する。
  論文  参考訳（メタデータ） (2022-09-14T00:08:44Z)
• Joint Prediction of Monocular Depth and Structure using Planar and Parallax Geometry [4.620624344434533]
  教師付き学習深度推定法は、LiDARデータのような高品質な地上構造で訓練すると、優れた性能が得られる。 提案手法は,有望な平面とパララックス幾何学パイプラインの構造情報と深度情報を組み合わせたU-Net教師あり学習ネットワークの構築である。 我々のモデルは細い物体と縁の深さ予測に優れており、構造予測ベースラインと比較して、より頑健に機能する。
  論文  参考訳（メタデータ） (2022-07-13T17:04:05Z)
• P3Depth: Monocular Depth Estimation with a Piecewise Planarity Prior [133.76192155312182]
  本研究では,コプラナー画素からの情報を選択的に活用して予測深度を改善する手法を提案する。 本手法の広範な評価により, 教師付き単分子深度推定法において, 新たな手法の確立が期待できる。
  論文  参考訳（メタデータ） (2022-04-05T10:03:52Z)
• PLNet: Plane and Line Priors for Unsupervised Indoor Depth Estimation [15.751045404065465]
  本稿では,平面と直線の先行値を利用して深度推定を行うPLNetを提案する。 NYU Depth V2とScanNetの実験では、PLNetが既存のメソッドより優れていることが示されている。
  論文  参考訳（メタデータ） (2021-10-12T09:02:24Z)
• MonoIndoor: Towards Good Practice of Self-Supervised Monocular Depth Estimation for Indoor Environments [55.05401912853467]
  屋内環境の自己監督深度推定は屋外環境よりも困難である。 屋内シーケンスの深さ範囲は異なるフレーム間で大きく異なり、奥行きネットワークが一貫した深さキューを誘導することは困難である。 屋外シーンの最大距離は、カメラが通常空を見るのと同じである。 屋外シーケンスの動作は、特にKITTIのようなデータセットを駆動するために、前もって翻訳される。
  論文  参考訳（メタデータ） (2021-07-26T18:45:14Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。