論文の概要: Learning Pixel-wise Continuous Depth Representation via Clustering for
Depth Completion
- arxiv url: http://arxiv.org/abs/2402.13579v1
- Date: Wed, 21 Feb 2024 07:18:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 16:30:39.696790
- Title: Learning Pixel-wise Continuous Depth Representation via Clustering for
Depth Completion
- Title(参考訳): 深度補完のためのクラスタリングによる画素ワイド連続深度表現の学習
- Authors: Chen Shenglun, Zhang Hong, Ma XinZhu, Wang Zhihui, Li Haojie
- Abstract要約: 我々はCluDeと呼ばれる新しいクラスタリングベースのフレームワークを提案し、ピクセル単位で連続的な深度表現を学習する。
CluDeはピクセル単位で連続的な深度表現を利用することで、オブジェクト境界付近の深度スミアリングをうまく低減する。
CluDeはVOIDデータセットの最先端のパフォーマンスを達成し、KITTIデータセットの分類ベースのメソッドよりも優れています。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Depth completion is a long-standing challenge in computer vision, where
classification-based methods have made tremendous progress in recent years.
However, most existing classification-based methods rely on pre-defined
pixel-shared and discrete depth values as depth categories. This representation
fails to capture the continuous depth values that conform to the real depth
distribution, leading to depth smearing in boundary regions. To address this
issue, we revisit depth completion from the clustering perspective and propose
a novel clustering-based framework called CluDe which focuses on learning the
pixel-wise and continuous depth representation. The key idea of CluDe is to
iteratively update the pixel-shared and discrete depth representation to its
corresponding pixel-wise and continuous counterpart, driven by the real depth
distribution. Specifically, CluDe first utilizes depth value clustering to
learn a set of depth centers as the depth representation. While these depth
centers are pixel-shared and discrete, they are more in line with the real
depth distribution compared to pre-defined depth categories. Then, CluDe
estimates offsets for these depth centers, enabling their dynamic adjustment
along the depth axis of the depth distribution to generate the pixel-wise and
continuous depth representation. Extensive experiments demonstrate that CluDe
successfully reduces depth smearing around object boundaries by utilizing
pixel-wise and continuous depth representation. Furthermore, CluDe achieves
state-of-the-art performance on the VOID datasets and outperforms
classification-based methods on the KITTI dataset.
- Abstract(参考訳): 深さの完成はコンピュータビジョンにおける長年の課題であり、分類に基づく手法が近年大きく進歩している。
しかし、既存の分類に基づく手法の多くは、深度カテゴリとして予め定義されたピクセル共有および離散深度値に依存する。
この表現は、実深度分布に準拠した連続深さ値の取り込みに失敗し、境界領域における深さのスメアに繋がる。
この問題に対処するため,我々はクラスタリングの観点から奥行きの完全性を再検討し,ピクセル単位と連続的な奥行き表現の学習に焦点を当てたcludeと呼ばれる新しいクラスタリングベースのフレームワークを提案する。
CluDeの鍵となる考え方は、実際の深度分布によって駆動される画素共有と離散深度表現を、対応する画素単位と連続したピクセルに反復的に更新することである。
具体的には、cludeはまず深度値クラスタリングを使用して深度中心のセットを深さ表現として学習する。
これらの深度中心はピクセル共有であり離散的であるが、事前定義された深度カテゴリよりも実際の深さ分布と一致している。
そして、CluDeはこれらの深度中心のオフセットを推定し、深度分布の深さ軸に沿って動的に調整し、ピクセル単位で連続的な深度表現を生成する。
広汎な実験により、CluDeは画素ワイドおよび連続深度表現を利用して物体境界付近の深度スミアリングをうまく低減することを示した。
さらに、CluDeはVOIDデータセットの最先端のパフォーマンスを達成し、KITTIデータセットの分類ベースの手法よりも優れています。
関連論文リスト
- RigNet++: Semantic Assisted Repetitive Image Guided Network for Depth
Completion [31.70022495622075]
画像案内ネットワークにおける繰り返し設計を探索し、徐々に十分に深度を復元する。
前者では,複雑な環境の識別画像の特徴を抽出するために,高密度繰り返し時間ガラスネットワーク(DRHN)を設計する。
後者では,動的畳み込みに基づく反復誘導(RG)モジュールを提案する。
さらに,領域認識型空間伝搬ネットワーク(RASPN)を提案する。
論文 参考訳(メタデータ) (2023-09-01T09:11:20Z) - Learning Occlusion-Aware Coarse-to-Fine Depth Map for Self-supervised
Monocular Depth Estimation [11.929584800629673]
自己教師付き単眼深度推定のためのOcclusion-aware Coarse-to-Fine Depth Mapを学習するための新しいネットワークを提案する。
提案したOCFD-Netは,粗度深度マップの学習に離散深度制約を用いるだけでなく,シーン深度残差の学習にも連続深度制約を用いる。
論文 参考訳(メタデータ) (2022-03-21T12:43:42Z) - Depth Completion using Plane-Residual Representation [84.63079529738924]
深度情報を最も近い深度平面ラベル$p$と残値$r$で解釈する新しい方法を紹介し,これをPlane-Residual (PR)表現と呼ぶ。
PR表現で深度情報を解釈し,それに対応する深度補完網を用いて,高速な計算により深度補完性能を向上させることができた。
論文 参考訳(メタデータ) (2021-04-15T10:17:53Z) - Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth
Estimation with Both Implicit and Explicit Semantic Guidance [34.62415122883441]
シーン認識深度推定のための暗黙的意味特徴と深度特徴とを一致させるセマンティック認識空間特徴アライメント方式を提案する。
また,推定深度マップを実シーンの文脈特性と整合性に明示的に制約する意味誘導型ランキング損失を提案する。
複雑なシーンや多様なセマンティックカテゴリで一貫して優れた、高品質な深度マップを作成します。
論文 参考訳(メタデータ) (2021-02-11T14:29:51Z) - Semantic-Guided Representation Enhancement for Self-supervised Monocular
Trained Depth Estimation [39.845944724079814]
自己教師付き深度推定は,画像列のみを入力として,高品質の深度マップを作成する上で大きな効果を示した。
しかし、その性能は通常、限界深度表現能力のために境界領域や細い構造を持つ物体を推定する際に低下する。
局所的および大域的な深度特徴表現を促進する意味誘導深度表現拡張法を提案する。
論文 参考訳(メタデータ) (2020-12-15T02:24:57Z) - Efficient Depth Completion Using Learned Bases [94.0808155168311]
深度補正のための新しい大域的幾何制約を提案する。
低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
論文 参考訳(メタデータ) (2020-12-02T11:57:37Z) - Dual Pixel Exploration: Simultaneous Depth Estimation and Image
Restoration [77.1056200937214]
本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。
本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
論文 参考訳(メタデータ) (2020-12-01T06:53:57Z) - Deep Multi-Scale Feature Learning for Defocus Blur Estimation [10.455763145066168]
本稿では,1つの非焦点画像からエッジベースのデフォーカスボケ推定手法を提案する。
まず、深さの不連続性(ぼかし推定が曖昧な)にあるエッジと、ほぼ一定の深さ領域にあるエッジ(ぼかし推定が適切に定義されたパターンエッジ)とを区別する。
パターンエッジのみにおけるデフォーカスのぼかし量を推定し,検出した深度エッジ間のデータ伝搬を防止し,適切に定義されたオブジェクト境界を持つ濃密なぼかしマップを得るためのガイド付きフィルタに基づくスキームを探索する。
論文 参考訳(メタデータ) (2020-09-24T20:36:40Z) - Occlusion-Aware Depth Estimation with Adaptive Normal Constraints [85.44842683936471]
カラービデオから多フレーム深度を推定する新しい学習手法を提案する。
本手法は深度推定精度において最先端の手法より優れる。
論文 参考訳(メタデータ) (2020-04-02T07:10:45Z) - Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。
この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。
我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
論文 参考訳(メタデータ) (2020-01-21T21:56:01Z) - Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。
この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。
我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-01-14T20:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。