論文の概要: Multi-interactive Dual-decoder for RGB-thermal Salient Object Detection

• arxiv url: http://arxiv.org/abs/2005.02315v3
• Date: Fri, 4 Jun 2021 12:56:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 14:16:32.592666
• Title: Multi-interactive Dual-decoder for RGB-thermal Salient Object Detection
• Title（参考訳）: RGB熱塩性物体検出のためのマルチインタラクティブデュアルデコーダ
• Authors: Zhengzheng Tu, Zhun Li, Chenglong Li, Yang Lang, Jin Tang
• Abstract要約: RGB-thermal Salient Object Detection (SOD)は、可視画像とそれに対応する熱赤外画像の共通する顕著な領域を分割することを目的としている。 既存の手法では、異なるモダリティの相補性のポテンシャルや、画像内容の多種類の手がかりを十分に探求し、活用することができない。 高精度なRGBT SODのためのマルチタイプインタラクションをマイニングし,モデル化するためのマルチインタラクティブなデュアルデコーダを提案する。
• 参考スコア（独自算出の注目度）: 37.79290349045164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RGB-thermal salient object detection (SOD) aims to segment the common prominent regions of visible image and corresponding thermal infrared image that we call it RGBT SOD. Existing methods don't fully explore and exploit the potentials of complementarity of different modalities and multi-type cues of image contents, which play a vital role in achieving accurate results. In this paper, we propose a multi-interactive dual-decoder to mine and model the multi-type interactions for accurate RGBT SOD. In specific, we first encode two modalities into multi-level multi-modal feature representations. Then, we design a novel dual-decoder to conduct the interactions of multi-level features, two modalities and global contexts. With these interactions, our method works well in diversely challenging scenarios even in the presence of invalid modality. Finally, we carry out extensive experiments on public RGBT and RGBD SOD datasets, and the results show that the proposed method achieves the outstanding performance against state-of-the-art algorithms. The source code has been released at:https://github.com/lz118/Multi-interactive-Dual-decoder.
• Abstract（参考訳）: RGB-thermal Salient Object Detection (SOD) は,RGBT SODと呼ばれる可視画像とそれに対応する熱赤外画像の共通領域を分割することを目的としている。 既存の手法では、異なるモダリティの相補性や画像コンテンツの多種類の手がかりの可能性を十分に探求することはできず、正確な結果を得る上で重要な役割を果たす。 本稿では,RGBT SODの精度向上のためのマルチタイプインタラクションをマイニングし,モデル化するためのマルチインタラクティブなデュアルデコーダを提案する。 具体的には、2つのモダリティをマルチレベルなマルチモーダル特徴表現にエンコードする。 そこで我々は,マルチレベル特徴,2つのモーダル性,グローバルコンテキストの相互作用を行う新しいデュアルデコーダを設計した。 これらの相互作用は, 無効なモダリティが存在する場合でも, 多様なシナリオでうまく機能する。 最後に,公開rgbtおよびrgbd sodデータセットの広範な実験を行い,提案手法が最先端アルゴリズムに対して優れた性能を達成していることを示す。 ソースコードはhttps://github.com/lz118/Multi-interactive-Dual-decoderで公開されている。

関連論文リスト

• HODINet: High-Order Discrepant Interaction Network for RGB-D Salient Object Detection [4.007827908611563]
  RGB-D Salient Object Detection (SOD) は、RGBと深度情報を共同でモデル化することで、顕著な領域を検出することを目的としている。 ほとんどのRGB-D SOD法は、同じ種類のバックボーンと融合モジュールを適用して、マルチモーダリティとマルチステージの特徴を同一に学習する。 本稿では,RGB-D SODのための高次離散相互作用ネットワーク(HODINet)を提案する。
  論文  参考訳（メタデータ） (2023-07-03T11:56:21Z)
• Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
  ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。 本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
  論文  参考訳（メタデータ） (2023-03-01T15:48:27Z)
• HiDAnet: RGB-D Salient Object Detection via Hierarchical Depth Awareness [2.341385717236931]
  本稿では,RGB-Dサリエンシ検出のための階層的深度認識ネットワーク(HiDAnet)を提案する。 我々のモチベーションは、幾何学的先行の多粒性特性がニューラルネットワーク階層とよく相関しているという観察から来ています。 当社のHiDAnetは最先端の手法よりも大きなマージンで良好に動作します。
  論文  参考訳（メタデータ） (2023-01-18T10:00:59Z)
• Interactive Context-Aware Network for RGB-T Salient Object Detection [7.544240329265388]
  ICANet(Interactive Context-Aware Network)と呼ばれる新しいネットワークを提案する。 ICANetには、クロスモーダルとクロススケールの融合を効果的に実行する3つのモジュールが含まれている。 実験により,我々のネットワークは最先端のRGB-T SOD法に対して良好に動作していることが示された。
  論文  参考訳（メタデータ） (2022-11-11T10:04:36Z)
• Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection [67.33924278729903]
  本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。 視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。 5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:35:41Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Multi-Scale Iterative Refinement Network for RGB-D Salient Object Detection [7.062058947498447]
  RGB画像の様々なスケールや解像度に、様々な特徴レベルの意味的ギャップがあるため、健全な視覚的手がかりが現れる。 同様のサージェントパターンは、クロスモーダルなディープイメージとマルチスケールバージョンで利用できる。 注意に基づく融合モジュール (ABF) を設計し, 相互相関に対処する。
  論文  参考訳（メタデータ） (2022-01-24T10:33:00Z)
• Transformer-based Network for RGB-D Saliency Detection [82.6665619584628]
  RGB-Dサリエンシ検出の鍵は、2つのモードにわたる複数のスケールで情報を完全なマイニングとヒューズすることである。 コンバータは機能融合と機能拡張の両面において高い有効性を示す一様操作であることを示す。 提案するネットワークは,最先端のRGB-D値検出手法に対して良好に動作する。
  論文  参考訳（メタデータ） (2021-12-01T15:53:58Z)
• M2RNet: Multi-modal and Multi-scale Refined Network for RGB-D Salient Object Detection [1.002712867721496]
  RGB-Dに基づく手法は、多モード特徴融合の不整合性とマルチスケール特徴集合の不整合に悩まされることが多い。 マルチモーダル・マルチスケール改良ネットワーク(M2RNet)を提案する。 このネットワークには3つの重要なコンポーネントが紹介されている。
  論文  参考訳（メタデータ） (2021-09-16T12:15:40Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。