論文の概要: PlaneDepth: Self-supervised Depth Estimation via Orthogonal Planes

• arxiv url: http://arxiv.org/abs/2210.01612v3
• Date: Tue, 28 Mar 2023 05:06:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 19:36:42.993734
• Title: PlaneDepth: Self-supervised Depth Estimation via Orthogonal Planes
• Title（参考訳）: 平面深度:直交平面による自己監督深度推定
• Authors: Ruoyu Wang, Zehao Yu and Shenghua Gao
• Abstract要約: 複数の前頭平行面に基づく深度推定は、自己教師付き単眼深度推定(MDE)において顕著な結果を示した 本研究では,垂直面と接地面を含む新しい平面ベースプレゼンテーションであるPlaneDepthを提案する。 本手法は, 自律走行において重要な, 教師なしの方法で地上面を抽出することができる。
• 参考スコア（独自算出の注目度）: 41.517947010531074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple near frontal-parallel planes based depth representation demonstrated impressive results in self-supervised monocular depth estimation (MDE). Whereas, such a representation would cause the discontinuity of the ground as it is perpendicular to the frontal-parallel planes, which is detrimental to the identification of drivable space in autonomous driving. In this paper, we propose the PlaneDepth, a novel orthogonal planes based presentation, including vertical planes and ground planes. PlaneDepth estimates the depth distribution using a Laplacian Mixture Model based on orthogonal planes for an input image. These planes are used to synthesize a reference view to provide the self-supervision signal. Further, we find that the widely used resizing and cropping data augmentation breaks the orthogonality assumptions, leading to inferior plane predictions. We address this problem by explicitly constructing the resizing cropping transformation to rectify the predefined planes and predicted camera pose. Moreover, we propose an augmented self-distillation loss supervised with a bilateral occlusion mask to boost the robustness of orthogonal planes representation for occlusions. Thanks to our orthogonal planes representation, we can extract the ground plane in an unsupervised manner, which is important for autonomous driving. Extensive experiments on the KITTI dataset demonstrate the effectiveness and efficiency of our method. The code is available at https://github.com/svip-lab/PlaneDepth.
• Abstract（参考訳）: 複数の前頭平行面に基づく深度表現は、自己教師付き単眼深度推定(MDE)において顕著な結果を示した。 一方、このような表現は、前方-平行平面に垂直な地面の不連続性を引き起こし、これは自律運転における乾燥可能な空間の同定に有害である。 本稿では,垂直平面と接地平面を含む,新しい直交平面に基づくプレゼンテーションであるplanedepthを提案する。 平面Depthは入力画像の直交平面に基づくラプラシアン混合モデルを用いて深度分布を推定する。 これらの平面は、自己超越信号を提供するために参照ビューを合成するために使用される。 さらに,広範に使用されるリサイズおよびクロッピングデータ拡張が直交性仮定を損なうことから,平面予測が劣ることがわかった。 本稿では,事前定義された平面と予測カメラのポーズを補正するために,再サイズトリミング変換を明示的に構築することでこの問題に対処する。 さらに, 咬合面表現のロバスト性を高めるため, 両側咬合マスクを併用した拡張自己蒸留損失法を提案する。 直交平面の表現により、無人運転において重要な、教師なしの方法で地上平面を抽出することができる。 KITTIデータセットの大規模な実験により,本手法の有効性と有効性を示した。 コードはhttps://github.com/svip-lab/planedepthで入手できる。

関連論文リスト

• MonoPlane: Exploiting Monocular Geometric Cues for Generalizable 3D Plane Reconstruction [37.481945507799594]
  本稿では,MonoPlaneという汎用的な3次元平面検出・再構成フレームワークを提案する。 まず、大規模な事前学習ニューラルネットワークを用いて、1つの画像から深度と表面の正常値を得る。 これらの特異な幾何学的手がかりを近接誘導RANSACフレームワークに組み込んで各平面インスタンスに順次適合させる。
  論文  参考訳（メタデータ） (2024-11-02T12:15:29Z)
• Plane2Depth: Hierarchical Adaptive Plane Guidance for Monocular Depth Estimation [38.81275292687583]
  平面情報を適応的に利用し,階層的なフレームワーク内での深度予測を改善するPlane2Depthを提案する。 提案する平面案内深度発生器 (PGDG) では, 現場の平面をソフトにモデル化し, 画素ごとの平面係数を予測するためのプロトタイプとして, 一連の平面クエリを設計する。 提案するアダプティブプレーンクエリアグリゲーション(APGA)モジュールでは,マルチスケール平面特徴のアグリゲーションを改善するために,新たな機能インタラクションアプローチを導入する。
  論文  参考訳（メタデータ） (2024-09-04T07:45:06Z)
• AirPlanes: Accurate Plane Estimation via 3D-Consistent Embeddings [26.845588648999417]
  本研究では,3次元画像から平面面を推定する問題に対処する。 本稿では,平面へのクラスタリングにおける幾何を補完する多視点一貫した平面埋め込みを予測する手法を提案する。 我々は、ScanNetV2データセットの広範な評価を通じて、我々の新しい手法が既存のアプローチより優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-13T09:49:31Z)
• Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction [84.94140661523956]
  本稿では,2つの垂直面を追加してBEVに付随するトリ・パースペクティブ・ビュー(TPV)表現を提案する。 3次元空間の各点を3次元平面上の投影された特徴をまとめてモデル化する。 実験結果から,本モデルは全ボクセルのセマンティック占有率を効果的に予測できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-15T17:58:10Z)
• Ground Plane Matters: Picking Up Ground Plane Prior in Monocular 3D Object Detection [92.75961303269548]
  先行する地平面は、モノクル3次元物体検出(M3OD)における非常に情報的な幾何学的手がかりである 本稿では,両問題を一度に解決するGPENetを提案する。 我々のGPENetは、他の手法よりも優れ、最先端のパフォーマンスを実現し、提案手法の有効性と優位性を示すことができる。
  論文  参考訳（メタデータ） (2022-11-03T02:21:35Z)
• Occupancy Planes for Single-view RGB-D Human Reconstruction [120.5818162569105]
  暗黙的な機能を持つシングルビューRGB-Dヒト再構成は、しばしばポイント単位の分類として定式化される。 本稿では,カメラの視野フラストラムをスライスする平面上での占有率予測として,一視点のRGB-D人間の再構成を定式化できる占有面(OPlanes)表現を提案する。
  論文  参考訳（メタデータ） (2022-08-04T17:59:56Z)
• Pose Estimation for Vehicle-mounted Cameras via Horizontal and Vertical Planes [37.653076607939745]
  そこで本研究では,移動車に搭載されたキャリブレーションカメラのエゴモーションを,単一のアフィン対応から推定する2つの新しい解法を提案する。 どちらの手法も行列係数が小さい線形系で解かれるため、非常に効率的である。 それらは、合成データと、公開されている現実世界のデータセットでテストされる。
  論文  参考訳（メタデータ） (2020-08-13T08:01:48Z)
• Plan2Vec: Unsupervised Representation Learning by Latent Plans [106.37274654231659]
  Plan2vecは、強化学習にインスパイアされた教師なしの表現学習手法である。 Plan2vecは、近距離を用いて画像データセット上に重み付きグラフを構築し、その局所距離を、計画された経路上の経路積分を蒸留することによって、大域的な埋め込みに外挿する。 1つのシミュレーションと2つの実世界の画像データセットに対する Plan2vec の有効性を実証する。
  論文  参考訳（メタデータ） (2020-05-07T17:52:23Z)
• From Planes to Corners: Multi-Purpose Primitive Detection in Unorganized 3D Point Clouds [59.98665358527686]
  直交平面の分割自由結合推定法を提案する。 このような統合されたシーン探索は、セマンティックプレーンの検出や局所的およびグローバルなスキャンアライメントといった、多目的のアプリケーションを可能にする。 本実験は,壁面検出から6次元トラッキングに至るまで,様々なシナリオにおいて,我々のアプローチの有効性を実証するものである。
  論文  参考訳（メタデータ） (2020-01-21T06:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。