論文の概要: DeCoTR: Enhancing Depth Completion with 2D and 3D Attentions

• arxiv url: http://arxiv.org/abs/2403.12202v1
• Date: Mon, 18 Mar 2024 19:22:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 18:21:58.014165
• Title: DeCoTR: Enhancing Depth Completion with 2D and 3D Attentions
• Title（参考訳）: DeCoTR:2Dおよび3Dアテンションによる深度補完
• Authors: Yunxiao Shi, Manish Kumar Singh, Hong Cai, Fatih Porikli,
• Abstract要約: 本研究では,2次元と3次元の両方の注意を生かし,高精度な深度補完を実現する手法を提案する。 提案手法であるDeCoTRを,確立した深度補完ベンチマークで評価した。
• 参考スコア（独自算出の注目度）: 41.55908366474901
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce a novel approach that harnesses both 2D and 3D attentions to enable highly accurate depth completion without requiring iterative spatial propagations. Specifically, we first enhance a baseline convolutional depth completion model by applying attention to 2D features in the bottleneck and skip connections. This effectively improves the performance of this simple network and sets it on par with the latest, complex transformer-based models. Leveraging the initial depths and features from this network, we uplift the 2D features to form a 3D point cloud and construct a 3D point transformer to process it, allowing the model to explicitly learn and exploit 3D geometric features. In addition, we propose normalization techniques to process the point cloud, which improves learning and leads to better accuracy than directly using point transformers off the shelf. Furthermore, we incorporate global attention on downsampled point cloud features, which enables long-range context while still being computationally feasible. We evaluate our method, DeCoTR, on established depth completion benchmarks, including NYU Depth V2 and KITTI, showcasing that it sets new state-of-the-art performance. We further conduct zero-shot evaluations on ScanNet and DDAD benchmarks and demonstrate that DeCoTR has superior generalizability compared to existing approaches.
• Abstract（参考訳）: 本稿では,2次元と3次元の両方の注意を生かして,反復的な空間伝搬を必要とせず,高精度な深度補完を実現する手法を提案する。 具体的には、まず、ボトルネックにおける2次元特徴に注意を向け、接続をスキップすることで、ベースライン畳み込み深度補完モデルを強化する。 これにより、この単純なネットワークの性能が向上し、最新の複雑なトランスフォーマーベースモデルと同等に設定できる。 このネットワークからの初期深度と特徴を活用して、2D機能を引き上げて3Dポイントクラウドを形成し、3Dポイントトランスフォーマーを構築し、モデルが3D幾何学的特徴を明示的に学習し、活用できるようにする。 さらに,本論文では,学習を改善する点群処理の正規化手法を提案し,棚から点変圧器を直接使用するよりも精度が向上した。 さらに、ダウンサンプリングされたポイントクラウド機能に対するグローバルな注意を取り入れ、計算可能でありながら、長距離コンテキストを可能にする。 提案手法であるDeCoTRを,NYU Depth V2 や KITTI を含む確立された深度補完ベンチマークで評価した結果,新しい最先端性能が得られた。 さらに、ScanNetおよびDDADベンチマークでゼロショット評価を行い、DeCoTRが既存のアプローチよりも優れた一般化性を有することを示した。

関連論文リスト

• FASTC: A Fast Attentional Framework for Semantic Traversability Classification Using Point Cloud [7.711666704468952]
  点雲を用いたトラバーサビリティ評価の問題に対処する。 本稿では,垂直に配置された点雲から特徴を捉えるために PointNet を利用した柱状特徴抽出モジュールを提案する。 次に、LIDAR点雲の密度問題に適切に対応できる多フレーム情報を融合する新しい時間的アテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-24T12:01:55Z)
• Dynamic 3D Point Cloud Sequences as 2D Videos [81.46246338686478]
  3Dポイントクラウドシーケンスは、現実世界の環境における最も一般的で実用的な表現の1つとして機能する。 textitStructured Point Cloud Videos (SPCV) と呼ばれる新しい汎用表現を提案する。 SPCVは点雲列を空間的滑らかさと時間的一貫性を持つ2Dビデオとして再編成し、画素値は点の3D座標に対応する。
  論文  参考訳（メタデータ） (2024-03-02T08:18:57Z)
• NDC-Scene: Boost Monocular 3D Semantic Scene Completion in Normalized Device Coordinates Space [77.6067460464962]
  SSC(Monocular 3D Semantic Scene Completion)は、単一の画像から複雑なセマンティックスや幾何学的形状を予測し、3D入力を必要としないため、近年大きな注目を集めている。 我々は,3次元空間に投影された2次元特徴の特徴的曖昧さ,3次元畳み込みのPose Ambiguity,深さの異なる3次元畳み込みにおける不均衡など,現在の最先端手法におけるいくつかの重要な問題を明らかにする。 シーン補完ネットワーク(NDC-Scene)を考案し,2を直接拡張する。
  論文  参考訳（メタデータ） (2023-09-26T02:09:52Z)
• Deep Point Cloud Reconstruction [74.694733918351]
  3Dスキャンから得られる点雲は、しばしばスパース、ノイズ、不規則である。 これらの問題に対処するため、最近の研究は別々に行われ、不正確な点雲を密度化、復調し、完全な不正確な点雲を観測している。 本研究では,1) 初期密度化とデノナイズのための3次元スパース集積時間ガラスネットワーク,2) 離散ボクセルを3Dポイントに変換するトランスフォーマーによる改良,の2段階からなる深部点雲再構成ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-11-23T07:53:28Z)
• Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception [122.53774221136193]
  運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。 自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。 本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-12T06:25:11Z)
• Learning Joint 2D-3D Representations for Depth Completion [90.62843376586216]
  2Dおよび3Dの関節の特徴を抽出することを学ぶシンプルで効果的なニューラルネットワークブロックを設計します。 具体的には、画像画素に2D畳み込みと3D点に連続畳み込みを施した2つのドメイン固有のサブネットワークから構成される。
  論文  参考訳（メタデータ） (2020-12-22T22:58:29Z)
• Pointwise Attention-Based Atrous Convolutional Neural Networks [15.499267533387039]
  多数の点を効率的に扱うために,注目度に基づくアトラス畳み込みニューラルネットワークアーキテクチャを提案する。 提案モデルは,3次元セマンティックセグメンテーションタスクにおいて,最も重要な2つの3Dポイントクラウドデータセット上で評価されている。 精度の面では最先端モデルと比較して妥当な性能を達成し、パラメータの数ははるかに少ない。
  論文  参考訳（メタデータ） (2019-12-27T13:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。