論文の概要: Interactive Context-Aware Network for RGB-T Salient Object Detection
- arxiv url: http://arxiv.org/abs/2211.06097v1
- Date: Fri, 11 Nov 2022 10:04:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 15:30:08.097845
- Title: Interactive Context-Aware Network for RGB-T Salient Object Detection
- Title（参考訳）: rgb-tサルエント物体検出のための対話型コンテキストアウェアネットワーク
- Authors: Yuxuan Wang, Feng Dong, Jinchao Zhu
- Abstract要約: ICANet(Interactive Context-Aware Network)と呼ばれる新しいネットワークを提案する。
ICANetには、クロスモーダルとクロススケールの融合を効果的に実行する3つのモジュールが含まれている。
実験により,我々のネットワークは最先端のRGB-T SOD法に対して良好に動作していることが示された。
- 参考スコア（独自算出の注目度）: 7.544240329265388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Salient object detection (SOD) focuses on distinguishing the most conspicuous
objects in the scene. However, most related works are based on RGB images,
which lose massive useful information. Accordingly, with the maturity of
thermal technology, RGB-T (RGB-Thermal) multi-modality tasks attain more and
more attention. Thermal infrared images carry important information which can
be used to improve the accuracy of SOD prediction. To accomplish it, the
methods to integrate multi-modal information and suppress noises are critical.
In this paper, we propose a novel network called Interactive Context-Aware
Network (ICANet). It contains three modules that can effectively perform the
cross-modal and cross-scale fusions. We design a Hybrid Feature Fusion (HFF)
module to integrate the features of two modalities, which utilizes two types of
feature extraction. The Multi-Scale Attention Reinforcement (MSAR) and Upper
Fusion (UF) blocks are responsible for the cross-scale fusion that converges
different levels of features and generate the prediction maps. We also raise a
novel Context-Aware Multi-Supervised Network (CAMSNet) to calculate the content
loss between the prediction and the ground truth (GT). Experiments prove that
our network performs favorably against the state-of-the-art RGB-T SOD methods.
- Abstract（参考訳）: サリアントオブジェクト検出(SOD)は、シーンで最も目立つオブジェクトを区別することに焦点を当てる。
しかし、ほとんどの関連作品はRGB画像に基づいており、膨大な有用な情報が失われている。
そのため、熱技術の成熟に伴い、RGB-T(RGB-Thermal)マルチモーダルタスクがますます注目されるようになる。
熱赤外画像は、SOD予測の精度を向上させるために使用できる重要な情報を持っている。
そのために,マルチモーダル情報を統合し,ノイズを抑制する手法が重要である。
本稿では,Interactive Context-Aware Network (ICANet) と呼ばれる新しいネットワークを提案する。
クロスモーダルおよびクロススケール融合を効果的に行うことができる3つのモジュールを含んでいる。
2種類の特徴抽出を利用する2つのモダリティの特徴を統合するために,ハイブリッド機能融合(hff)モジュールを設計した。
マルチスケール注意強化(MSAR)とアッパーフュージョン(UF)ブロックは、異なるレベルの特徴を収束させ、予測マップを生成するクロススケールフュージョンに責任を持つ。
また、予測と基底真実(GT)の間のコンテンツ損失を計算するために、新しいコンテキスト対応マルチスーパーバイザネットワーク(CAMSNet)も立ち上げる。
実験により,我々のネットワークは最先端のRGB-T SOD法に対して良好に動作していることが示された。
関連論文リスト
- HODINet: High-Order Discrepant Interaction Network for RGB-D Salient
Object Detection [4.007827908611563]
RGB-D Salient Object Detection (SOD) は、RGBと深度情報を共同でモデル化することで、顕著な領域を検出することを目的としている。
ほとんどのRGB-D SOD法は、同じ種類のバックボーンと融合モジュールを適用して、マルチモーダリティとマルチステージの特徴を同一に学習する。
本稿では,RGB-D SODのための高次離散相互作用ネットワーク(HODINet)を提案する。
論文 参考訳（メタデータ） (2023-07-03T11:56:21Z) - Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient
Object Detection [67.33924278729903]
本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。
視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。
5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
論文 参考訳（メタデータ） (2022-06-07T08:35:41Z) - Multi-Scale Iterative Refinement Network for RGB-D Salient Object
Detection [7.062058947498447]
RGB画像の様々なスケールや解像度に、様々な特徴レベルの意味的ギャップがあるため、健全な視覚的手がかりが現れる。
同様のサージェントパターンは、クロスモーダルなディープイメージとマルチスケールバージョンで利用できる。
注意に基づく融合モジュール (ABF) を設計し, 相互相関に対処する。
論文 参考訳（メタデータ） (2022-01-24T10:33:00Z) - Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。
コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。
提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
論文 参考訳（メタデータ） (2021-12-01T15:53:58Z) - Modality-Guided Subnetwork for Salient Object Detection [5.491692465987937]
ほとんどのRGBDネットワークは、入力側から複数のモダリティを必要とし、それらを2ストリームの設計で別々に供給する。
本稿では、モダリティ誘導サブネットワーク(MGSnet)と呼ばれる新しい融合設計を提案する。
1)RGBデータとRGBDデータの両方で機能し、使用できない場合の深度を動的に推定する。
論文 参考訳（メタデータ） (2021-10-10T20:59:11Z) - M2RNet: Multi-modal and Multi-scale Refined Network for RGB-D Salient
Object Detection [1.002712867721496]
RGB-Dに基づく手法は、多モード特徴融合の不整合性とマルチスケール特徴集合の不整合に悩まされることが多い。
マルチモーダル・マルチスケール改良ネットワーク(M2RNet)を提案する。
このネットワークには3つの重要なコンポーネントが紹介されている。
論文 参考訳（メタデータ） (2021-09-16T12:15:40Z) - Self-Supervised Representation Learning for RGB-D Salient Object
Detection [93.17479956795862]
我々は、自己教師付き表現学習を用いて、クロスモーダルオートエンコーダと深さ-輪郭推定という2つのプレテキストタスクを設計する。
我々のプレテキストタスクは、ネットワークがリッチなセマンティックコンテキストをキャプチャする事前トレーニングを実行するのに、少数のRGB-Dデータセットしか必要としない。
RGB-D SODにおけるクロスモーダル核融合の固有の問題として,マルチパス核融合モジュールを提案する。
論文 参考訳（メタデータ） (2021-01-29T09:16:06Z) - Siamese Network for RGB-D Salient Object Detection and Beyond [113.30063105890041]
共有ネットワークバックボーンを通じてRGBと深度入力の両方から学習するための新しいフレームワークが提案されている。
5つの一般的な指標を用いた総合的な実験は、設計されたフレームワークが堅牢なRGB-D塩分濃度検出器をもたらすことを示している。
また、JL-DCFをRGB-Dセマンティックセマンティックセマンティクスフィールドにリンクし、いくつかのセマンティクスセマンティクスモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2020-08-26T06:01:05Z) - RGB-D Salient Object Detection with Cross-Modality Modulation and
Selection [126.4462739820643]
本稿では, RGB-D Salient Object Detection (SOD) において, モジュール間相補性を段階的に統合し, 改良する有効な方法を提案する。
提案するネットワークは,1)RGB画像とそれに対応する深度マップからの補完情報を効果的に統合する方法,および2)より精度の高い特徴を適応的に選択する方法の2つの課題を主に解決する。
論文 参考訳（メタデータ） (2020-07-14T14:22:50Z) - Multi-level Cross-modal Interaction Network for RGB-D Salient Object
Detection [3.581367375462018]
我々は,RGB-D を用いたサルエントオブジェクト検出(SOD)のためのMCINet(Multi-level Cross-modal Interaction Network)を提案する。
MCI-Netには2つの重要なコンポーネントがある: 1)RGB画像と深度キューの高レベルな特徴を学習するために使用されるクロスモーダルな特徴学習ネットワーク、2)SOD性能を高めるためにマルチレベルなクロスモーダル機能を統合するマルチレベルな対話型統合ネットワーク。
論文 参考訳（メタデータ） (2020-07-10T02:21:02Z) - Cross-Modal Weighting Network for RGB-D Salient Object Detection [76.0965123893641]
我々は,RGB-D SODの深度チャネルとRGB-D SODの包括的相互作用を促進するために,新しいクロスモーダルウェイトリング(CMW)戦略を提案する。
具体的には、CMW-L、CMW-M、CMW-Hという3つのRGB-depth相互作用モジュールが、それぞれ低レベル、中級、高レベルのクロスモーダル情報融合を扱うように開発されている。
CMWNetは、7つの人気のあるベンチマークで15の最先端のRGB-D SODメソッドを上回っている。
論文 参考訳（メタデータ） (2020-07-09T16:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。