論文の概要: SemAttNet: Towards Attention-based Semantic Aware Guided Depth Completion

• arxiv url: http://arxiv.org/abs/2204.13635v1
• Date: Thu, 28 Apr 2022 16:53:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 14:18:56.627108
• Title: SemAttNet: Towards Attention-based Semantic Aware Guided Depth Completion
• Title（参考訳）: semattnet: 注意に基づくsemantic aware guided depth completionに向けて
• Authors: Danish Nazir, Marcus Liwicki, Didier Stricker, Muhammad Zeshan Afzal
• Abstract要約: そこで本研究では,色誘導,意味誘導,奥行き誘導からなる新しい3枝バックボーンを提案する。 カラー誘導枝の予測深度マップとセマンティックイメージとスパース深度マップをセマンティック誘導枝への入力として渡す。 深度誘導枝は疎度、色、意味的な深度を取り、深度マップを生成する。
• 参考スコア（独自算出の注目度）: 12.724769241831396
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Depth completion involves recovering a dense depth map from a sparse map and an RGB image. Recent approaches focus on utilizing color images as guidance images to recover depth at invalid pixels. However, color images alone are not enough to provide the necessary semantic understanding of the scene. Consequently, the depth completion task suffers from sudden illumination changes in RGB images (e.g., shadows). In this paper, we propose a novel three-branch backbone comprising color-guided, semantic-guided, and depth-guided branches. Specifically, the color-guided branch takes a sparse depth map and RGB image as an input and generates color depth which includes color cues (e.g., object boundaries) of the scene. The predicted dense depth map of color-guided branch along-with semantic image and sparse depth map is passed as input to semantic-guided branch for estimating semantic depth. The depth-guided branch takes sparse, color, and semantic depths to generate the dense depth map. The color depth, semantic depth, and guided depth are adaptively fused to produce the output of our proposed three-branch backbone. In addition, we also propose to apply semantic-aware multi-modal attention-based fusion block (SAMMAFB) to fuse features between all three branches. We further use CSPN++ with Atrous convolutions to refine the dense depth map produced by our three-branch backbone. Extensive experiments show that our model achieves state-of-the-art performance in the KITTI depth completion benchmark at the time of submission.
• Abstract（参考訳）: 深さの完成には、スパースマップとRGB画像から密度の深い深度マップを復元することが含まれる。 最近のアプローチでは、カラーイメージを誘導画像として活用し、無効画素の深さを回復する。 しかし、カラー画像だけではシーンのセマンティックな理解を提供するには不十分である。 その結果、奥行き完了タスクは、RGB画像(例えば影)の突然の照明変化に悩まされる。 本稿では,カラーガイド,セマンティクスガイド,奥行き案内枝からなる新しい3分岐バックボーンを提案する。 具体的には、カラー誘導ブランチは、スパース深度マップとRGB画像とを入力として、シーンのカラーキュー(例えば、オブジェクト境界)を含む色深度を生成する。 意味的画像とスパース深さ地図とを併用した色誘導枝の濃密深度マップを意味誘導枝に入力して意味的深さを推定する。 深度誘導枝は疎度、色、意味的な深度を取り、深度マップを生成する。 色深度,意味深度,ガイド深度は適応的に融合し,提案した3枝バックボーンの出力を生成する。 さらに,本研究では,意味認識型マルチモーダルアテンションベースフュージョンブロック (SAMMAFB) を3つのブランチ間で融合する手法を提案する。 さらにCSPN++とAtrousの畳み込みを使って、3分岐のバックボーンによって生成される深度マップを洗練します。 大規模実験により, 提案時のKITTI深度補完ベンチマークにおいて, 最先端の性能が得られた。

関連論文リスト

• Depth-guided Texture Diffusion for Image Semantic Segmentation [47.46257473475867]
  本稿では,この課題を効果的に解決するディープスガイド型テクスチャ拡散手法を提案する。 本手法は,テクスチャ画像を作成するために,エッジやテクスチャから低レベル特徴を抽出する。 この拡張深度マップを元のRGB画像と結合した特徴埋め込みに統合することにより,深度マップと画像との相違を効果的に橋渡しする。
  論文  参考訳（メタデータ） (2024-08-17T04:55:03Z)
• RigNet++: Semantic Assisted Repetitive Image Guided Network for Depth Completion [31.70022495622075]
  画像案内ネットワークにおける繰り返し設計を探索し、徐々に十分に深度を復元する。 前者では,複雑な環境の識別画像の特徴を抽出するために,高密度繰り返し時間ガラスネットワーク(DRHN)を設計する。 後者では,動的畳み込みに基づく反復誘導(RG)モジュールを提案する。 さらに,領域認識型空間伝搬ネットワーク(RASPN)を提案する。
  論文  参考訳（メタデータ） (2023-09-01T09:11:20Z)
• RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion [28.634851863097953]
  本稿では,RDFC-GANという2分岐のエンドツーエンド核融合ネットワークを提案する。 RGBと不完全な深度画像のペアを入力として、密集した深度マップを予測する。 第1分枝は、マンハッタン世界の仮定に固執することにより、エンコーダ・デコーダ構造を用いる。 もう一方のブランチでは、RGBイメージを詳細なテクスチャ化された深度マップに変換するのに適したRGB深度融合CycleGANが適用されている。
  論文  参考訳（メタデータ） (2023-06-06T11:03:05Z)
• RGB-Depth Fusion GAN for Indoor Depth Completion [29.938869342958125]
  本稿では,RGBと不完全深度画像のペアを入力として,高密度で完成度の高い深度マップを推定する,新しい2分岐エンドツーエンド融合ネットワークを設計する。 あるブランチでは、RGB画像を微細なテクスチャ化深度マップに転送するRGB深度融合GANを提案する。 他方のブランチでは、W-AdaINという名前の適応核融合モジュールを採用し、2つのブランチにまたがる特徴を伝播させます。
  論文  参考訳（メタデータ） (2022-03-21T10:26:38Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• DnD: Dense Depth Estimation in Crowded Dynamic Indoor Scenes [68.38952377590499]
  複雑な屋内環境の中を移動する単眼カメラから奥行きを推定するための新しい手法を提案する。 提案手法は,静的な背景と複数の移動する人物からなるシーン全体にわたる絶対規模の深度マップを推定する。
  論文  参考訳（メタデータ） (2021-08-12T09:12:39Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• PENet: Towards Precise and Efficient Image Guided Depth Completion [11.162415111320625]
  色と深さのモダリティを融合させる方法は、優れたパフォーマンスを達成する上で重要な役割を果たす。 本稿では,色優性枝と深度優性枝からなる2枝のバックボーンを提案する。 提案する完全モデルは、提出時点でkitti depth completion online leaderboardで1位にランクインしている。
  論文  参考訳（メタデータ） (2021-03-01T06:09:23Z)
• Efficient Depth Completion Using Learned Bases [94.0808155168311]
  深度補正のための新しい大域的幾何制約を提案する。 低次元部分空間上によく配置される深さ写像を仮定することにより、高密度深度写像は全解像度の主深度基底の重み付け和で近似することができる。
  論文  参考訳（メタデータ） (2020-12-02T11:57:37Z)
• Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
  近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。 この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。 我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
  論文  参考訳（メタデータ） (2020-01-21T21:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。