論文の概要: PlaneDepth: Self-supervised Depth Estimation via Orthogonal Planes
- arxiv url: http://arxiv.org/abs/2210.01612v3
- Date: Tue, 28 Mar 2023 05:06:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 19:36:42.993734
- Title: PlaneDepth: Self-supervised Depth Estimation via Orthogonal Planes
- Title(参考訳): 平面深度:直交平面による自己監督深度推定
- Authors: Ruoyu Wang, Zehao Yu and Shenghua Gao
- Abstract要約: 複数の前頭平行面に基づく深度推定は、自己教師付き単眼深度推定(MDE)において顕著な結果を示した
本研究では,垂直面と接地面を含む新しい平面ベースプレゼンテーションであるPlaneDepthを提案する。
本手法は, 自律走行において重要な, 教師なしの方法で地上面を抽出することができる。
- 参考スコア(独自算出の注目度): 41.517947010531074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multiple near frontal-parallel planes based depth representation demonstrated
impressive results in self-supervised monocular depth estimation (MDE).
Whereas, such a representation would cause the discontinuity of the ground as
it is perpendicular to the frontal-parallel planes, which is detrimental to the
identification of drivable space in autonomous driving. In this paper, we
propose the PlaneDepth, a novel orthogonal planes based presentation, including
vertical planes and ground planes. PlaneDepth estimates the depth distribution
using a Laplacian Mixture Model based on orthogonal planes for an input image.
These planes are used to synthesize a reference view to provide the
self-supervision signal. Further, we find that the widely used resizing and
cropping data augmentation breaks the orthogonality assumptions, leading to
inferior plane predictions. We address this problem by explicitly constructing
the resizing cropping transformation to rectify the predefined planes and
predicted camera pose. Moreover, we propose an augmented self-distillation loss
supervised with a bilateral occlusion mask to boost the robustness of
orthogonal planes representation for occlusions. Thanks to our orthogonal
planes representation, we can extract the ground plane in an unsupervised
manner, which is important for autonomous driving. Extensive experiments on the
KITTI dataset demonstrate the effectiveness and efficiency of our method. The
code is available at https://github.com/svip-lab/PlaneDepth.
- Abstract(参考訳): 複数の前頭平行面に基づく深度表現は、自己教師付き単眼深度推定(MDE)において顕著な結果を示した。
一方、このような表現は、前方-平行平面に垂直な地面の不連続性を引き起こし、これは自律運転における乾燥可能な空間の同定に有害である。
本稿では,垂直平面と接地平面を含む,新しい直交平面に基づくプレゼンテーションであるplanedepthを提案する。
平面Depthは入力画像の直交平面に基づくラプラシアン混合モデルを用いて深度分布を推定する。
これらの平面は、自己超越信号を提供するために参照ビューを合成するために使用される。
さらに,広範に使用されるリサイズおよびクロッピングデータ拡張が直交性仮定を損なうことから,平面予測が劣ることがわかった。
本稿では,事前定義された平面と予測カメラのポーズを補正するために,再サイズトリミング変換を明示的に構築することでこの問題に対処する。
さらに, 咬合面表現のロバスト性を高めるため, 両側咬合マスクを併用した拡張自己蒸留損失法を提案する。
直交平面の表現により、無人運転において重要な、教師なしの方法で地上平面を抽出することができる。
KITTIデータセットの大規模な実験により,本手法の有効性と有効性を示した。
コードはhttps://github.com/svip-lab/planedepthで入手できる。
関連論文リスト
- Disentangling Orthogonal Planes for Indoor Panoramic Room Layout
Estimation with Cross-Scale Distortion Awareness [38.096482841789275]
複素シーンから平面を前分割することで1次元表現を解き放つことを提案する。
床の境界と天井の境界の対称性を考えると,ソフトフリップ融合戦略も設計する。
4つの人気のあるベンチマークの実験は、既存のSoTAソリューションよりも優れていることを示している。
論文 参考訳(メタデータ) (2023-03-02T05:10:23Z) - Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction [84.94140661523956]
本稿では,2つの垂直面を追加してBEVに付随するトリ・パースペクティブ・ビュー(TPV)表現を提案する。
3次元空間の各点を3次元平面上の投影された特徴をまとめてモデル化する。
実験結果から,本モデルは全ボクセルのセマンティック占有率を効果的に予測できることが示唆された。
論文 参考訳(メタデータ) (2023-02-15T17:58:10Z) - Ground Plane Matters: Picking Up Ground Plane Prior in Monocular 3D
Object Detection [92.75961303269548]
先行する地平面は、モノクル3次元物体検出(M3OD)における非常に情報的な幾何学的手がかりである
本稿では,両問題を一度に解決するGPENetを提案する。
我々のGPENetは、他の手法よりも優れ、最先端のパフォーマンスを実現し、提案手法の有効性と優位性を示すことができる。
論文 参考訳(メタデータ) (2022-11-03T02:21:35Z) - Occupancy Planes for Single-view RGB-D Human Reconstruction [120.5818162569105]
暗黙的な機能を持つシングルビューRGB-Dヒト再構成は、しばしばポイント単位の分類として定式化される。
本稿では,カメラの視野フラストラムをスライスする平面上での占有率予測として,一視点のRGB-D人間の再構成を定式化できる占有面(OPlanes)表現を提案する。
論文 参考訳(メタデータ) (2022-08-04T17:59:56Z) - Indoor Panorama Planar 3D Reconstruction via Divide and Conquer [36.466149592254965]
室内パノラマは典型的には人造構造で、重力に平行または垂直である。
我々はこの現象を利用して、(H)水平面と(V)慣性面を持つ360度画像のシーンを近似する。
我々は、既存の360度深度データセットを地平線H&V平面で拡張することにより、屋内パノラマ平面再構成のためのベンチマークを作成する。
論文 参考訳(メタデータ) (2021-06-27T07:58:29Z) - Pose Estimation for Vehicle-mounted Cameras via Horizontal and Vertical
Planes [37.653076607939745]
そこで本研究では,移動車に搭載されたキャリブレーションカメラのエゴモーションを,単一のアフィン対応から推定する2つの新しい解法を提案する。
どちらの手法も行列係数が小さい線形系で解かれるため、非常に効率的である。
それらは、合成データと、公開されている現実世界のデータセットでテストされる。
論文 参考訳(メタデータ) (2020-08-13T08:01:48Z) - Plan2Vec: Unsupervised Representation Learning by Latent Plans [106.37274654231659]
Plan2vecは、強化学習にインスパイアされた教師なしの表現学習手法である。
Plan2vecは、近距離を用いて画像データセット上に重み付きグラフを構築し、その局所距離を、計画された経路上の経路積分を蒸留することによって、大域的な埋め込みに外挿する。
1つのシミュレーションと2つの実世界の画像データセットに対する Plan2vec の有効性を実証する。
論文 参考訳(メタデータ) (2020-05-07T17:52:23Z) - From Planes to Corners: Multi-Purpose Primitive Detection in Unorganized
3D Point Clouds [59.98665358527686]
直交平面の分割自由結合推定法を提案する。
このような統合されたシーン探索は、セマンティックプレーンの検出や局所的およびグローバルなスキャンアライメントといった、多目的のアプリケーションを可能にする。
本実験は,壁面検出から6次元トラッキングに至るまで,様々なシナリオにおいて,我々のアプローチの有効性を実証するものである。
論文 参考訳(メタデータ) (2020-01-21T06:51:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。