論文の概要: SwinNet: Swin Transformer drives edge-aware RGB-D and RGB-T salient object detection

• arxiv url: http://arxiv.org/abs/2204.05585v1
• Date: Tue, 12 Apr 2022 07:37:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-13 23:51:16.254768
• Title: SwinNet: Swin Transformer drives edge-aware RGB-D and RGB-T salient object detection
• Title（参考訳）: SwinNet: Swin Transformerはエッジ対応のRGB-DとRGB-Tの正体検出を駆動
• Authors: Zhengyi Liu, Yacheng Tan, Qian He, Yun Xiao
• Abstract要約: 本稿では,RGB-D と RGB-T の有向物体検出のための相互モード融合モデル SwinNet を提案する。 提案モデルは,RGB-DデータセットとRGB-Tデータセットの最先端モデルより優れている。
• 参考スコア（独自算出の注目度）: 12.126413875108993
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Convolutional neural networks (CNNs) are good at extracting contexture features within certain receptive fields, while transformers can model the global long-range dependency features. By absorbing the advantage of transformer and the merit of CNN, Swin Transformer shows strong feature representation ability. Based on it, we propose a cross-modality fusion model SwinNet for RGB-D and RGB-T salient object detection. It is driven by Swin Transformer to extract the hierarchical features, boosted by attention mechanism to bridge the gap between two modalities, and guided by edge information to sharp the contour of salient object. To be specific, two-stream Swin Transformer encoder first extracts multi-modality features, and then spatial alignment and channel re-calibration module is presented to optimize intra-level cross-modality features. To clarify the fuzzy boundary, edge-guided decoder achieves inter-level cross-modality fusion under the guidance of edge features. The proposed model outperforms the state-of-the-art models on RGB-D and RGB-T datasets, showing that it provides more insight into the cross-modality complementarity task.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、ある種の受容領域におけるコンテキスト特徴の抽出に長けており、トランスフォーマーはグローバルな長距離依存機能をモデル化することができる。 変換器の利点とCNNの利点を吸収することにより、Swin Transformerは強力な特徴表現能力を示す。 そこで本研究では,RGB-D と RGB-T の有向物体検出のための相互モード融合モデル SwinNet を提案する。 Swin Transformerによって、階層的な特徴を抽出し、2つのモード間のギャップをブリッジするアテンション機構によって強化され、エッジ情報によってガイドされ、サリアントオブジェクトの輪郭を鋭くする。 具体的には、2ストリームのSwin Transformerエンコーダがまずマルチモーダル特徴を抽出し、次に空間アライメントとチャネル再校正モジュールを提示し、レベル内のクロスモーダル特徴を最適化する。 ファジィ境界を明らかにするために、エッジ誘導デコーダはエッジ特徴の誘導の下で、レベル間相互モード融合を実現する。 提案したモデルは、RGB-DおよびRGB-Tデータセットの最先端モデルよりも優れており、クロスモダリティ補完性タスクに関するより深い洞察を提供する。

関連論文リスト

• Point-aware Interaction and CNN-induced Refinement Network for RGB-D Salient Object Detection [95.84616822805664]
  我々は,CNNによるトランスフォーマーアーキテクチャを導入し,ポイント・アウェア・インタラクションとCNNによるリファインメントを備えた新しいRGB-D SODネットワークを提案する。 トランスフォーマーがもたらすブロック効果とディテール破壊問題を自然に軽減するために,コンテンツリファインメントとサプリメントのためのCNNRユニットを設計する。
  論文  参考訳（メタデータ） (2023-08-17T11:57:49Z)
• TANet: Transformer-based Asymmetric Network for RGB-D Salient Object Detection [13.126051625000605]
  RGB-D SOD法は主に対称な2ストリームCNNネットワークに依存し、RGBと深さチャネルの特徴を別々に抽出する。 本稿では,トランスフォーマーを用いた非対称ネットワーク(TANet)を提案する。 提案手法は、6つの公開データセット上での14の最先端RGB-D手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-07-04T03:06:59Z)
• Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection [67.33924278729903]
  本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。 視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。 5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:35:41Z)
• Transformer-Guided Convolutional Neural Network for Cross-View Geolocalization [20.435023745201878]
  本稿ではトランスフォーマー誘導型畳み込みニューラルネットワーク(TransGCNN)アーキテクチャを提案する。 我々のTransGCNNは、入力画像からCNNのバックボーン抽出特徴マップと、グローバルコンテキストをモデル化するTransformerヘッドで構成される。 CVUSAとCVACT_valでそれぞれ94.12%,84.92%の精度を達成した。
  論文  参考訳（メタデータ） (2022-04-21T08:46:41Z)
• TransCMD: Cross-Modal Decoder Equipped with Transformer for RGB-D Salient Object Detection [86.94578023985677]
  本研究では,グローバルな情報アライメントと変革の観点から,この課題を再考する。 具体的には、トランスCMD(TransCMD)は、複数のクロスモーダル統合ユニットをカスケードして、トップダウントランスフォーマーベースの情報伝達経路を構築する。 7つのRGB-D SODベンチマークデータセットの実験結果から、単純な2ストリームエンコーダデコーダフレームワークが、最先端のCNNベースの手法を超越できることが示されている。
  論文  参考訳（メタデータ） (2021-12-04T15:45:34Z)
• Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
  RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。 コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。 提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2021-12-01T15:53:58Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。