論文の概要: Depth-Adapted CNNs for RGB-D Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2206.03939v1
- Date: Wed, 8 Jun 2022 14:59:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 17:38:09.202281
- Title: Depth-Adapted CNNs for RGB-D Semantic Segmentation
- Title(参考訳): rgb-dセマンティクスセグメンテーションのための深さ適応cnn
- Authors: Zongwei Wu, Guillaume Allibert, Christophe Stolz, Chao Ma, and
C\'edric Demonceaux
- Abstract要約: 我々は、RGB畳み込みニューラルネットワーク(CNN)に深度情報を組み込む新しい枠組みを提案する。
具体的には、Z-ACNは2次元奥行き適応オフセットを生成し、RGB画像の特徴抽出を誘導する低レベル特徴に完全に制約される。
生成されたオフセットでは、基本的なCNN演算子を置き換えるために、2つの直感的で効果的な操作を導入する。
- 参考スコア(独自算出の注目度): 2.341385717236931
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent RGB-D semantic segmentation has motivated research interest thanks to
the accessibility of complementary modalities from the input side. Existing
works often adopt a two-stream architecture that processes photometric and
geometric information in parallel, with few methods explicitly leveraging the
contribution of depth cues to adjust the sampling position on RGB images. In
this paper, we propose a novel framework to incorporate the depth information
in the RGB convolutional neural network (CNN), termed Z-ACN (Depth-Adapted
CNN). Specifically, our Z-ACN generates a 2D depth-adapted offset which is
fully constrained by low-level features to guide the feature extraction on RGB
images. With the generated offset, we introduce two intuitive and effective
operations to replace basic CNN operators: depth-adapted convolution and
depth-adapted average pooling. Extensive experiments on both indoor and outdoor
semantic segmentation tasks demonstrate the effectiveness of our approach.
- Abstract(参考訳): 近年のRGB-Dセマンティックセマンティックセグメンテーションは、入力側からの相補的モダリティのアクセシビリティによって研究の関心を喚起している。
既存の作業では、光学的および幾何学的な情報を並列に処理する2ストリームアーキテクチャを採用しており、RGB画像のサンプリング位置を調整するために深度キューの寄与を明示的に活用する手法はほとんどない。
本稿では、Z-ACN(Depth-Adapted CNN)と呼ばれるRGB畳み込みニューラルネットワーク(CNN)に深度情報を組み込む新しいフレームワークを提案する。
具体的には、Z-ACNは2次元奥行き適応オフセットを生成し、RGB画像の特徴抽出を誘導する低レベル特徴に完全に制約される。
生成されたオフセットでは,cnnの基本演算子に代えて,直感的かつ効果的な操作を2つ導入する。
室内および屋外のセマンティクスセグメンテーションタスクに関する広範囲な実験を行い,提案手法の有効性を示した。
関連論文リスト
- CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient
Object Detection [144.66411561224507]
本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。
我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
論文 参考訳(メタデータ) (2022-10-06T11:59:19Z) - TANet: Transformer-based Asymmetric Network for RGB-D Salient Object
Detection [13.126051625000605]
RGB-D SOD法は主に対称な2ストリームCNNネットワークに依存し、RGBと深さチャネルの特徴を別々に抽出する。
本稿では,トランスフォーマーを用いた非対称ネットワーク(TANet)を提案する。
提案手法は、6つの公開データセット上での14の最先端RGB-D手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-07-04T03:06:59Z) - Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient
Object Detection [67.33924278729903]
本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。
視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。
5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
論文 参考訳(メタデータ) (2022-06-07T08:35:41Z) - Pyramidal Attention for Saliency Detection [30.554118525502115]
本稿では,RGB画像のみを活用し,RGBから深度を推定し,中間深度特性を利用する。
ピラミッド型アテンション構造を用いて,マルチレベル畳み込み変換器の特徴を抽出し,初期表現の処理を行う。
我々は8つのRGBおよびRGB-Dデータセット上で21と40の最先端SOD法に対する性能を著しく改善したことを報告した。
論文 参考訳(メタデータ) (2022-04-14T06:57:46Z) - Cross-modality Discrepant Interaction Network for RGB-D Salient Object
Detection [78.47767202232298]
本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。
2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。
我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
論文 参考訳(メタデータ) (2021-08-04T11:24:42Z) - Data-Level Recombination and Lightweight Fusion Scheme for RGB-D Salient
Object Detection [73.31632581915201]
深部特徴抽出に先立って,RGBとD(深部)を融合する新たなデータレベル組換え手法を提案する。
新たに設計された3重ストリームネットワークをこれらの新しい定式化データ上に適用し,RGBとDのチャネルワイドな相補的融合状態を実現する。
論文 参考訳(メタデータ) (2020-08-07T10:13:05Z) - Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。
本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-23T04:33:36Z) - Bi-directional Cross-Modality Feature Propagation with
Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。
既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。
本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
論文 参考訳(メタデータ) (2020-07-17T18:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。