論文の概要: GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs

• arxiv url: http://arxiv.org/abs/2210.10758v1
• Date: Wed, 19 Oct 2022 17:56:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 13:08:58.247941
• Title: GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs
• Title（参考訳）: GraphCSPN: 動的GCNによる幾何認識深度補完
• Authors: Xin Liu, Xiaofei Shao, Bo Wang, Yali Li, Shengjin Wang
• Abstract要約: 本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。 提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 49.55919802779889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image guided depth completion aims to recover per-pixel dense depth maps from sparse depth measurements with the help of aligned color images, which has a wide range of applications from robotics to autonomous driving. However, the 3D nature of sparse-to-dense depth completion has not been fully explored by previous methods. In this work, we propose a Graph Convolution based Spatial Propagation Network (GraphCSPN) as a general approach for depth completion. First, unlike previous methods, we leverage convolution neural networks as well as graph neural networks in a complementary way for geometric representation learning. In addition, the proposed networks explicitly incorporate learnable geometric constraints to regularize the propagation process performed in three-dimensional space rather than in two-dimensional plane. Furthermore, we construct the graph utilizing sequences of feature patches, and update it dynamically with an edge attention module during propagation, so as to better capture both the local neighboring features and global relationships over long distance. Extensive experiments on both indoor NYU-Depth-v2 and outdoor KITTI datasets demonstrate that our method achieves the state-of-the-art performance, especially when compared in the case of using only a few propagation steps. Code and models are available at the project page.
• Abstract（参考訳）: image guided depth completionは、ロボティクスから自動運転まで幅広い応用範囲のカラー画像のアライメントによって、ピクセル当たりの濃密な深度マップをスパース深度測定から回収することを目的としている。 しかし、スパース・トゥ・ディエンス・デプス・コンプリープの3次元特性は従来の手法では十分に解明されていない。 本研究では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。 まず,従来の手法とは異なり,畳み込みニューラルネットワークとグラフニューラルネットワークを,幾何学的表現学習のための補完的手法として活用する。 さらに,提案するネットワークは,学習可能な幾何学的制約を明示的に組み込んで,二次元平面ではなく三次元空間における伝播過程を定式化する。 さらに,特徴パッチのシーケンスを利用してグラフを構築し,伝播中にエッジアテンションモジュールで動的に更新することにより,周辺特徴と遠距離におけるグローバル関係の双方をよりよく把握する。 室内のNYU-Depth-v2データセットと屋外のKITTIデータセットの両方に対する大規模な実験により,本手法が最先端の性能を達成することを示す。 コードとモデルはプロジェクトのページで入手できる。

関連論文リスト

• Depth Completion using Geometry-Aware Embedding [22.333381291860498]
  本稿では,幾何認識の埋め込みを効率的に学習する手法を提案する。 局所的および大域的な幾何学的構造情報を、例えば、シーンレイアウト、オブジェクトのサイズと形状などの3Dポイントから符号化し、深度推定を導く。
  論文  参考訳（メタデータ） (2022-03-21T12:06:27Z)
• 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
  3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
  論文  参考訳（メタデータ） (2021-12-01T00:52:42Z)
• A Novel 3D-UNet Deep Learning Framework Based on High-Dimensional Bilateral Grid for Edge Consistent Single Image Depth Estimation [0.45880283710344055]
  3DBG-UNetと呼ばれるバイラテラルグリッドベースの3D畳み込みニューラルネットワークは、UNetsでコンパクトな3D二元格子を符号化することで、高次元の特徴空間をパラメータ化する。 別の新しい3DBGES-UNetモデルは、3DBG-UNetを統合して1つのカラービューの正確な深度マップを推測するものである。
  論文  参考訳（メタデータ） (2021-05-21T04:53:14Z)
• Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Shapes [77.6741486264257]
  本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。 我々の表現は、以前の作品に比べてレンダリング速度の点で2～3桁の効率であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T18:50:22Z)
• Learning Joint 2D-3D Representations for Depth Completion [90.62843376586216]
  2Dおよび3Dの関節の特徴を抽出することを学ぶシンプルで効果的なニューラルネットワークブロックを設計します。 具体的には、画像画素に2D畳み込みと3D点に連続畳み込みを施した2つのドメイン固有のサブネットワークから構成される。
  論文  参考訳（メタデータ） (2020-12-22T22:58:29Z)
• Learning a Geometric Representation for Data-Efficient Depth Estimation via Gradient Field and Contrastive Loss [29.798579906253696]
  本研究では、コンブネットがラベルのない画像で幾何学的情報を抽出するのを支援するために、運動量差の少ない勾配に基づく自己教師付き学習アルゴリズムを提案する。 提案手法は,従来の自己教師付き学習アルゴリズムよりも優れ,ラベル付きデータの効率を3倍に向上させる。
  論文  参考訳（メタデータ） (2020-11-06T06:47:19Z)
• Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
  本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。 提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。 メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2020-10-23T14:49:02Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)
• Learning to Segment 3D Point Clouds in 2D Image Space [20.119802932358333]
  2次元画像空間に3次元点雲を効率よく投影する方法を示す。 U-Netのような従来の2D畳み込みニューラルネットワーク(CNN)はセグメンテーションに適用できる。
  論文  参考訳（メタデータ） (2020-03-12T03:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。