論文の概要: An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection

• arxiv url: http://arxiv.org/abs/2305.09999v1
• Date: Wed, 17 May 2023 06:48:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 17:15:56.113178
• Title: An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection
• Title（参考訳）: 近赤外可視画像融合と高感度物体検出のための相互強化パラダイム
• Authors: Di Wang, Jinyuan Liu, Risheng Liu, Xin Fan
• Abstract要約: この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。 経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。 マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
• 参考スコア（独自算出の注目度）: 59.02821429555375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This research focuses on the discovery and localization of hidden objects in the wild and serves unmanned systems. Through empirical analysis, infrared and visible image fusion (IVIF) enables hard-to-find objects apparent, whereas multimodal salient object detection (SOD) accurately delineates the precise spatial location of objects within the picture. Their common characteristic of seeking complementary cues from different source images motivates us to explore the collaborative relationship between Fusion and Salient object detection tasks on infrared and visible images via an Interactively Reinforced multi-task paradigm for the first time, termed IRFS. To the seamless bridge of multimodal image fusion and SOD tasks, we specifically develop a Feature Screening-based Fusion subnetwork (FSFNet) to screen out interfering features from source images, thereby preserving saliency-related features. After generating the fused image through FSFNet, it is then fed into the subsequent Fusion-Guided Cross-Complementary SOD subnetwork (FC$^2$Net) as the third modality to drive the precise prediction of the saliency map by leveraging the complementary information derived from the fused image. In addition, we develop an interactive loop learning strategy to achieve the mutual reinforcement of IVIF and SOD tasks with a shorter training period and fewer network parameters. Comprehensive experiment results demonstrate that the seamless bridge of IVIF and SOD mutually enhances their performance, and highlights their superiority.
• Abstract（参考訳）: 本研究は,野生における隠れた物体の発見と局在に着目し,無人システムを提供する。 経験的解析により、赤外線と可視画像融合(IVIF)は、画像内の物体の正確な空間的位置を正確に決定するのに対し、多モードサリエント物体検出(SOD)は画像内の物体の正確な位置を正確に決定する。 彼らの共通する特徴は、異なるソース画像から補完的手がかりを求めることで、初めてIRFSと呼ばれるインタラクティブ強化マルチタスクパラダイムを用いて、赤外線および可視画像上の融合と塩物検出タスクの協調関係を探求する動機となる。 本研究では,マルチモーダル画像融合とsodタスクのシームレスなブリッジを実現するために,ソース画像から干渉する特徴を表示できるfsfnet(feature screening-based fusion subnetwork)を開発した。 FSFNetを介して融合画像を生成した後、その融合画像から得られた相補的情報を活用して、その相補性マップを正確に予測する第3のモダリティとして、後のFusion-Guided Cross-Complementary SODサブネットワーク(FC$^2$Net)に入力される。 さらに,より短いトレーニング期間と少ないネットワークパラメータで,IVIFとSODタスクの相互強化を実現するための対話型ループ学習戦略を開発する。 総合実験の結果,IVIFとSOODのシームレスブリッジは相互に性能を向上し,その優位性を強調している。

関連論文リスト

• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• Multimodal Transformer Using Cross-Channel attention for Object Detection in Remote Sensing Images [1.662438436885552]
  マルチモーダル融合は、複数のモーダルからのデータを融合することで精度を高めることが決定されている。 早期に異なるチャネル間の関係をマッピングするための新しいマルチモーダル融合戦略を提案する。 本手法は,中期・後期の手法とは対照的に,早期の融合に対処することにより,既存の手法と比較して,競争力や性能に優れる。
  論文  参考訳（メタデータ） (2023-10-21T00:56:11Z)
• SSPFusion: A Semantic Structure-Preserving Approach for Infrared and Visible Image Fusion [30.55433673796615]
  既存の学習ベースの赤外線および可視画像融合(IVIF)法は、融合画像に大量の冗長情報を示す。 本稿では,IVIF における意味的構造保存手法,すなわち SSPFusion を提案する。 提案手法は,2組の赤外線画像と可視画像から高品質な融合画像を生成することができ,下流コンピュータビジョンタスクの性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-09-26T08:13:32Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [72.8898811120795]
  我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。 本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-11-20T12:02:07Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• Cross-Modality 3D Object Detection [63.29935886648709]
  本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。 アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-08-16T11:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。