論文の概要: Decomposed Guided Dynamic Filters for Efficient RGB-Guided Depth Completion

• arxiv url: http://arxiv.org/abs/2309.02043v1
• Date: Tue, 5 Sep 2023 08:37:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 15:56:14.155142
• Title: Decomposed Guided Dynamic Filters for Efficient RGB-Guided Depth Completion
• Title（参考訳）: 効率的なRGB誘導深度補完のための分解誘導動的フィルタ
• Authors: Yufei Wang, Yuxin Mao, Qi Liu, Yuchao Dai
• Abstract要約: RGB誘導深度補正は、スパース深度測定と対応するRGB画像から深度マップを予測することを目的としている。 ガイド付き動的フィルタは、RGB特徴から空間的に可変な深度分割可能な畳み込みフィルタを生成し、深度特徴を導出する。 本稿では,ガイド付き動的フィルタを空間的に共有されたコンポーネントに分解し,各空間位置におけるコンテンツ適応型適応器を乗じて分解する。
• 参考スコア（独自算出の注目度）: 46.04264366475848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RGB-guided depth completion aims at predicting dense depth maps from sparse depth measurements and corresponding RGB images, where how to effectively and efficiently exploit the multi-modal information is a key issue. Guided dynamic filters, which generate spatially-variant depth-wise separable convolutional filters from RGB features to guide depth features, have been proven to be effective in this task. However, the dynamically generated filters require massive model parameters, computational costs and memory footprints when the number of feature channels is large. In this paper, we propose to decompose the guided dynamic filters into a spatially-shared component multiplied by content-adaptive adaptors at each spatial location. Based on the proposed idea, we introduce two decomposition schemes A and B, which decompose the filters by splitting the filter structure and using spatial-wise attention, respectively. The decomposed filters not only maintain the favorable properties of guided dynamic filters as being content-dependent and spatially-variant, but also reduce model parameters and hardware costs, as the learned adaptors are decoupled with the number of feature channels. Extensive experimental results demonstrate that the methods using our schemes outperform state-of-the-art methods on the KITTI dataset, and rank 1st and 2nd on the KITTI benchmark at the time of submission. Meanwhile, they also achieve comparable performance on the NYUv2 dataset. In addition, our proposed methods are general and could be employed as plug-and-play feature fusion blocks in other multi-modal fusion tasks such as RGB-D salient object detection.
• Abstract（参考訳）: RGB誘導深度補正は、疎深度測定と対応するRGB画像から深度マップを予測することを目的としており、マルチモーダル情報の有効かつ効率的に活用する方法が重要な課題である。 RGB特徴から深度特徴を導出する空間可変な深度分割可能な畳み込みフィルタを生成する誘導動的フィルタは,この課題に有効であることが証明された。 しかし、動的に生成されたフィルタは、機能チャネルの数が大きい場合、膨大なモデルパラメータ、計算コスト、メモリフットプリントを必要とする。 本稿では,各空間位置において,コンテンツ適応型適応器に乗じた空間共用成分に誘導型動的フィルタを分解する。 提案手法に基づいて,フィルタ構造を分割し,空間的注意力を用いてフィルタを分解する2つの分解スキームAとBを導入する。 分解されたフィルタは、ガイド付き動的フィルタの好ましい特性をコンテンツ依存的かつ空間的変動として維持するだけでなく、学習した適応器が特徴チャネルの数と分離されるため、モデルパラメータとハードウェアコストも低減する。 その結果,提案手法はKITTIデータセットの最先端手法よりも優れており,提案時のKITTIベンチマークでは第1位,第2位であることがわかった。 また、NYUv2データセットでも同等のパフォーマンスを実現している。 さらに,提案手法は汎用的であり,rgb-dサルエント物体検出など他のマルチモーダル融合タスクにおけるプラグイン・アンド・プレイ機能融合ブロックとして使用可能である。

関連論文リスト

• CasDyF-Net: Image Dehazing via Cascaded Dynamic Filters [0.0]
  イメージデハジングは、大気の散乱と吸収効果を低減し、画像の明瞭さと視覚的品質を回復することを目的としている。 動的フィルタリングに着想を得て,マルチブランチネットワークを構築するためにカスケード動的フィルタを提案する。 RESIDE、Haze4K、O-Hazeのデータセットの実験は、我々の方法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-09-13T03:20:38Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• Adaptive Convolutions with Per-pixel Dynamic Filter Atom [24.691793951360914]
  画素ごとの適応フィルタによるスケーラブルな動的畳み込みを導入する。 コンボリューション層へのプラグアンドプレイ置換として、ピクセル単位の動的原子による適応的畳み込みは、画像内分散の明示的なモデリングを可能にする。 本稿では,提案手法がタスク間で同等あるいはさらに優れたパフォーマンスを実現することを示す実験を行う。
  論文  参考訳（メタデータ） (2021-08-17T22:04:10Z)
• MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking [72.65494220685525]
  可視データと熱データ間のメッセージ通信を促進するために,新しい動的モダリティ対応フィルタ生成モジュール(MFGNet)を提案する。 我々は、2つの独立ネットワークを持つ動的モダリティ対応フィルタを生成し、その可視フィルタとサーマルフィルタをそれぞれ、対応する入力特徴写像上で動的畳み込み演算を行う。 重閉塞,高速移動,外見による問題に対処するため,新たな方向認識型目標誘導型アテンション機構を活用することで,共同で局所的・グローバル検索を行うことを提案する。
  論文  参考訳（メタデータ） (2021-07-22T03:10:51Z)
• Decoupled Dynamic Filter Networks [85.38058820176047]
  これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。 最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。 分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
  論文  参考訳（メタデータ） (2021-04-29T04:55:33Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)
• Hierarchical Dynamic Filtering Network for RGB-D Salient Object Detection [91.43066633305662]
  RGB-D Salient Object Detection (SOD) の主な目的は、相互融合情報をよりよく統合し活用する方法である。 本稿では,これらの問題を新たな視点から考察する。 我々は、より柔軟で効率的なマルチスケールのクロスモーダルな特徴処理を実装している。
  論文  参考訳（メタデータ） (2020-07-13T07:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。