論文の概要: Self-Supervised Depth Completion Guided by 3D Perception and Geometry Consistency

• arxiv url: http://arxiv.org/abs/2312.15263v1
• Date: Sat, 23 Dec 2023 14:19:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 18:49:09.665236
• Title: Self-Supervised Depth Completion Guided by 3D Perception and Geometry Consistency
• Title（参考訳）: 3次元知覚と幾何学的整合性による自己監督深度補完
• Authors: Yu Cai, Tianyu Shen, Shi-Sheng Huang and Hua Huang
• Abstract要約: 本稿では,3次元の知覚的特徴と多視点幾何整合性を利用して,高精度な自己監督深度補完法を提案する。 NYU-Depthv2 と VOID のベンチマークデータセットを用いた実験により,提案モデルが最先端の深度補完性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 17.68427514090938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth completion, aiming to predict dense depth maps from sparse depth measurements, plays a crucial role in many computer vision related applications. Deep learning approaches have demonstrated overwhelming success in this task. However, high-precision depth completion without relying on the ground-truth data, which are usually costly, still remains challenging. The reason lies on the ignorance of 3D structural information in most previous unsupervised solutions, causing inaccurate spatial propagation and mixed-depth problems. To alleviate the above challenges, this paper explores the utilization of 3D perceptual features and multi-view geometry consistency to devise a high-precision self-supervised depth completion method. Firstly, a 3D perceptual spatial propagation algorithm is constructed with a point cloud representation and an attention weighting mechanism to capture more reasonable and favorable neighboring features during the iterative depth propagation process. Secondly, the multi-view geometric constraints between adjacent views are explicitly incorporated to guide the optimization of the whole depth completion model in a self-supervised manner. Extensive experiments on benchmark datasets of NYU-Depthv2 and VOID demonstrate that the proposed model achieves the state-of-the-art depth completion performance compared with other unsupervised methods, and competitive performance compared with previous supervised methods.
• Abstract（参考訳）: 疎深度測定から深度マップを推定することを目的とした深度補完は、多くのコンピュータビジョン関連アプリケーションにおいて重要な役割を果たす。 ディープラーニングのアプローチはこのタスクで圧倒的に成功している。 しかし、通常コストのかかる地上データに頼ることなく、高精度な深度補完は依然として困難である。 その理由は、以前のほとんどの教師なし解における3d構造情報の無知であり、不正確な空間伝播と混合深い問題を引き起こす。 上記の課題を緩和するために,3次元知覚特徴と多視点形状の一貫性を利用して,高精度な自己教師付き奥行き補完法を考案する。 まず,3次元知覚的空間伝搬アルゴリズムをポイントクラウド表現と注意重み付け機構とで構築し,反復的深さ伝播過程においてより合理的で好適な隣接特徴を捉える。 次に,隣接ビュー間の多視点幾何制約を明示的に組み込んで,奥行き完了モデルの最適化を自己教師あり方式で導く。 NYU-Depthv2 と VOID のベンチマークデータセットに対する大規模な実験により、提案モデルは、他の教師なし手法と比較して最先端の深度補完性能を達成し、従来の教師なし手法と比較して競争性能を向上することを示した。

関連論文リスト

• Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering [93.94371335579321]
  我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
  論文  参考訳（メタデータ） (2023-09-18T12:36:39Z)
• Constraining Depth Map Geometry for Multi-View Stereo: A Dual-Depth Approach with Saddle-shaped Depth Cells [23.345139129458122]
  同じ深度予測誤差を用いても、異なる深度ジオメトリには大きな性能ギャップがあることが示される。 サドル形状のセルからなる理想的な深度幾何学を導入し, 予測深度マップは地表面を上下に振動する。 また,本手法は,MVSにおける深度幾何学の新たな研究方向を示す。
  論文  参考訳（メタデータ） (2023-07-18T11:37:53Z)
• GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
  本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-19T17:56:03Z)
• DenseLiDAR: A Real-Time Pseudo Dense Depth Guided Depth Completion Network [3.1447111126464997]
  本稿では,DenseLiDARを提案する。 単純な形態的操作から得られた高密度な擬似深度マップを利用してネットワークを誘導する。 我々のモデルは50Hzのフレームレートで最先端の性能を達成することができる。
  論文  参考訳（メタデータ） (2021-08-28T14:18:29Z)
• Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
  3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。 双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。 本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
  論文  参考訳（メタデータ） (2021-07-29T16:30:33Z)
• Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection [70.71934539556916]
  射影モデルを用いて幾何学誘導深度推定を学習し, モノクル3次元物体検出を推し進める。 具体的には,モノクロ3次元物体検出ネットワークにおける2次元および3次元深度予測の投影モデルを用いた原理的幾何式を考案した。 本手法は, 適度なテスト設定において, 余分なデータを2.80%も加えることなく, 最先端単分子法の検出性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-07-29T12:30:39Z)
• Self-supervised Depth Estimation Leveraging Global Perception and Geometric Smoothness Using On-board Videos [0.5276232626689566]
  我々は,グローバルな特徴と局所的な特徴を同時に抽出する画素ワイド深度推定のためのDLNetを提案する。 幾何学的に自然な深度マップを予測するために3次元形状の滑らかさ損失を提案する。 KITTIとMake3Dベンチマークの実験では、提案したDLNetは最先端の手法と競合する性能を実現している。
  論文  参考訳（メタデータ） (2021-06-07T10:53:27Z)
• Self-Guided Instance-Aware Network for Depth Completion and Enhancement [6.319531161477912]
  既存の手法では,画素ワイド画像の内容とそれに対応する近傍の深度値に基づいて,欠落した深度測定を直接補間する。 本稿では、自己誘導機構を利用して、深度復元に必要なインスタンスレベルの特徴を抽出する自己誘導型インスタンス認識ネットワーク(SG-IANet)を提案する。
  論文  参考訳（メタデータ） (2021-05-25T19:41:38Z)
• Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust Depth Prediction [87.08227378010874]
  深度予測における高次3次元幾何学的制約の重要性を示す。 単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。 The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
  論文  参考訳（メタデータ） (2021-03-07T00:08:21Z)
• Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
  カラービデオから多フレーム深度を推定する新しい学習手法を提案する。 本手法は深度推定精度において最先端の手法より優れる。
  論文  参考訳（メタデータ） (2020-04-02T07:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。