論文の概要: Channel and Spatial Relation-Propagation Network for RGB-Thermal Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2308.12534v1
• Date: Thu, 24 Aug 2023 03:43:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 15:24:40.787403
• Title: Channel and Spatial Relation-Propagation Network for RGB-Thermal Semantic Segmentation
• Title（参考訳）: rgb熱的意味セグメンテーションのためのチャネルと空間関係伝達ネットワーク
• Authors: Zikun Zhou, Shukun Wu, Guoqing Zhu, Hongpeng Wang, Zhenyu He
• Abstract要約: RGB-Thermal (RGB-T)セマンティックセマンティックセグメンテーションは、低照度条件を扱う上で大きな可能性を示している。 RGB-Tセマンティックセグメンテーションの鍵は、RGBと熱画像の相補的性質を効果的に活用することである。
• 参考スコア（独自算出の注目度）: 10.344060599932185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RGB-Thermal (RGB-T) semantic segmentation has shown great potential in handling low-light conditions where RGB-based segmentation is hindered by poor RGB imaging quality. The key to RGB-T semantic segmentation is to effectively leverage the complementarity nature of RGB and thermal images. Most existing algorithms fuse RGB and thermal information in feature space via concatenation, element-wise summation, or attention operations in either unidirectional enhancement or bidirectional aggregation manners. However, they usually overlook the modality gap between RGB and thermal images during feature fusion, resulting in modality-specific information from one modality contaminating the other. In this paper, we propose a Channel and Spatial Relation-Propagation Network (CSRPNet) for RGB-T semantic segmentation, which propagates only modality-shared information across different modalities and alleviates the modality-specific information contamination issue. Our CSRPNet first performs relation-propagation in channel and spatial dimensions to capture the modality-shared features from the RGB and thermal features. CSRPNet then aggregates the modality-shared features captured from one modality with the input feature from the other modality to enhance the input feature without the contamination issue. While being fused together, the enhanced RGB and thermal features will be also fed into the subsequent RGB or thermal feature extraction layers for interactive feature fusion, respectively. We also introduce a dual-path cascaded feature refinement module that aggregates multi-layer features to produce two refined features for semantic and boundary prediction. Extensive experimental results demonstrate that CSRPNet performs favorably against state-of-the-art algorithms.
• Abstract（参考訳）: RGB-Thermal (RGB-T)セマンティックセマンティックセマンティックセマンティクスは、RGBベースのセマンティクスがRGB画像品質の低下によって妨げられるような低照度条件に対処する大きな可能性を示している。 RGB-Tセマンティックセグメンテーションの鍵は、RGBと熱画像の相補的性質を効果的に活用することである。 既存のアルゴリズムの多くは、一方向の強化または双方向のアグリゲーションの方法で結合、要素の和、注意操作を通じて、特徴空間におけるRGBと熱情報を融合する。 しかし、それらは通常、特徴融合中のRGBと熱画像の間のモダリティギャップを見落とし、一方のモダリティが他方を汚染するモダリティ固有の情報をもたらす。 本稿では,RGB-TセマンティックセグメンテーションのためのChannel and Spatial Relation-Propagation Network (CSRPNet)を提案する。 我々のCSRPNetはまず、RGBと熱的特徴からモダリティ共有特徴を捉えるために、チャネルと空間次元で関係伝播を行う。 CSRPNetは、一方のモダリティから取得したモダリティ共有特徴と他方のモダリティから取得した入力特徴を集約し、汚染問題なく入力特徴を強化する。 融合しながら、強化されたRGBと熱的特徴はそれぞれ、インタラクティブな特徴融合のためのRGBまたは熱的特徴抽出層に供給される。 また,多層特徴を集約してセマンティックおよび境界予測のための2つの洗練された特徴を生成する,デュアルパス・ケースケード機能改善モジュールを導入する。 CSRPNetは最先端のアルゴリズムに対して好適に動作することを示した。

関連論文リスト

• HAPNet: Toward Superior RGB-Thermal Scene Parsing via Hybrid, Asymmetric, and Progressive Heterogeneous Feature Fusion [15.538174593176166]
  本研究では,RGB熱水シーン解析のためのVFM機能をフル活用するための実現可能な戦略について検討する。 具体的には、VFMと畳み込みニューラルネットワークの両方を組み込んだハイブリッド非対称エンコーダを設計する。 この設計により、相補的な異種特徴のより効果的な抽出が可能となり、後に二重経路の進行的な方法で融合される。
  論文  参考訳（メタデータ） (2024-04-04T15:31:11Z)
• Multi-Modal Hybrid Learning and Sequential Training for RGB-T Saliency Detection [10.589062261564631]
  RGB-Tサリエンシ検出は、暗黒環境のような困難な場面で顕著な物体を識別する重要なコンピュータビジョンタスクとして登場した。 既存の手法では、クロスモーダルの特徴を無視し、RGBと熱的特徴を融合させるネットワーク構造のみに依存している。 まず、教師付きおよび自己教師付き損失関数を含むマルチモーダルハイブリッド損失(MMHL)を提案する。
  論文  参考訳（メタデータ） (2023-09-13T20:47:29Z)
• Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation [19.41334573257174]
  従来の方法では、主にRGBイメージを使用し、照明条件、例えば暗闇の影響が大きい。 近年の研究では、セグメンテーションの補正モダリティとして、熱画像は夜のシナリオに頑健であることが示されている。 本稿では,RGB-TセマンティックセグメンテーションのためのResidual Spatial Fusion Network (RSFNet)を提案する。
  論文  参考訳（メタデータ） (2023-06-17T14:28:08Z)
• Does Thermal Really Always Matter for RGB-T Salient Object Detection? [153.17156598262656]
  本稿では,RGB-T有意物体検出(SOD)タスクを解決するために,TNetというネットワークを提案する。 本稿では,画像のグローバル照度を推定するためのグローバル照度推定モジュールを提案する。 一方, 2段階の局所化と相補化モジュールを導入し, 熱的特徴の物体位置化キューと内部整合キューをRGBモダリティに転送する。
  論文  参考訳（メタデータ） (2022-10-09T13:50:12Z)
• CIR-Net: Cross-modality Interaction and Refinement for RGB-D Salient Object Detection [144.66411561224507]
  本稿では,CIR-Netと呼ばれる畳み込みニューラルネットワーク(CNN)モデルを提案する。 我々のネットワークは、定性的かつ定量的に最先端の塩分濃度検出器より優れています。
  論文  参考訳（メタデータ） (2022-10-06T11:59:19Z)
• Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection [16.64781797503128]
  RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。 本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。 ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-07T20:26:09Z)
• Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection [67.33924278729903]
  本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。 視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。 5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:35:41Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)
• Cross-Modal Weighting Network for RGB-D Salient Object Detection [76.0965123893641]
  我々は,RGB-D SODの深度チャネルとRGB-D SODの包括的相互作用を促進するために,新しいクロスモーダルウェイトリング(CMW)戦略を提案する。 具体的には、CMW-L、CMW-M、CMW-Hという3つのRGB-depth相互作用モジュールが、それぞれ低レベル、中級、高レベルのクロスモーダル情報融合を扱うように開発されている。 CMWNetは、7つの人気のあるベンチマークで15の最先端のRGB-D SODメソッドを上回っている。
  論文  参考訳（メタデータ） (2020-07-09T16:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。