論文の概要: Registration-Free Hybrid Learning Empowers Simple Multimodal Imaging System for High-quality Fusion Detection

• arxiv url: http://arxiv.org/abs/2307.03425v1
• Date: Fri, 7 Jul 2023 07:11:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 13:08:51.771071
• Title: Registration-Free Hybrid Learning Empowers Simple Multimodal Imaging System for High-quality Fusion Detection
• Title（参考訳）: ハイクオリティ核融合検出のための簡易マルチモーダルイメージングシステムを活用した登録フリーハイブリッド学習
• Authors: Yinghan Guan, Haoran Dai, Zekuan Yu, Shouyu Wang and Yuanjie Gu
• Abstract要約: 本稿では,CNN-Transformerハイブリッド学習フレームワークであるIA-VFDnetを提案する。 AKMとDWDAFは相乗効果を利用して、高品質な赤外線可視核融合検出を行う。 M3FDデータセットの実験により,提案手法の優位性を検証した。
• 参考スコア（独自算出の注目度）: 1.9249287163937976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal fusion detection always places high demands on the imaging system and image pre-processing, while either a high-quality pre-registration system or image registration processing is costly. Unfortunately, the existing fusion methods are designed for registered source images, and the fusion of inhomogeneous features, which denotes a pair of features at the same spatial location that expresses different semantic information, cannot achieve satisfactory performance via these methods. As a result, we propose IA-VFDnet, a CNN-Transformer hybrid learning framework with a unified high-quality multimodal feature matching module (AKM) and a fusion module (WDAF), in which AKM and DWDAF work in synergy to perform high-quality infrared-aware visible fusion detection, which can be applied to smoke and wildfire detection. Furthermore, experiments on the M3FD dataset validate the superiority of the proposed method, with IA-VFDnet achieving the best detection performance than other state-of-the-art methods under conventional registered conditions. In addition, the first unregistered multimodal smoke and wildfire detection benchmark is openly available in this letter.
• Abstract（参考訳）: マルチモーダル融合検出は常に撮像システムと画像前処理に高い要求を課し、高品質の事前登録システムまたは画像登録処理はコストがかかる。 残念ながら、既存の融合法は、登録されたソース画像のために設計されており、異なる意味情報を表す同じ空間的位置における特徴の対を表す不均一な特徴の融合は、これらの方法によって満足な性能を達成できない。 その結果、IA-VFDnetというCNN-Transformerハイブリッド学習フレームワークと、AKMとDWDAFが相乗効果を発揮し、煙や山火事の検出に応用できる高品質の赤外線可視核融合検出を行うための統合された高品質マルチモーダル特徴マッチングモジュール(AKM)と融合モジュール(WDAF)を提案する。 さらに,M3FDデータセットを用いた実験により提案手法の優位性を検証し,IA-VFDnetは従来の登録条件下での他の最先端手法よりも優れた検出性能を実現する。 さらに、最初の未登録のマルチモーダルスモークとワイルドファイア検出ベンチマークがこのレターで公開されています。

関連論文リスト

• Attention Fusion Reverse Distillation for Multi-Lighting Image Anomaly Detection [4.677326790094539]
  本研究は,MLIADにおける複数入力を処理するための注意融合逆蒸留法を提案する。 Eyecandiesの実験は、AFRDが他のMLIAD代替品よりも優れたMLIAD性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-06-07T01:26:37Z)
• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• Bridging the Gap between Multi-focus and Multi-modal: A Focused Integration Framework for Multi-modal Image Fusion [5.417493475406649]
  MMIF(Multi-Modal Image fusion)は、異なるモダリティ画像からの貴重な情報を融合画像に統合する。 本稿では,協調型統合とモダリティ情報抽出のためのMMIFフレームワークを提案する。 提案アルゴリズムは、視覚知覚と定量的評価において最先端の手法を超越することができる。
  論文  参考訳（メタデータ） (2023-11-03T12:58:39Z)
• Multimodal Transformer Using Cross-Channel attention for Object Detection in Remote Sensing Images [1.662438436885552]
  マルチモーダル融合は、複数のモーダルからのデータを融合することで精度を高めることが決定されている。 早期に異なるチャネル間の関係をマッピングするための新しいマルチモーダル融合戦略を提案する。 本手法は,中期・後期の手法とは対照的に,早期の融合に対処することにより,既存の手法と比較して,競争力や性能に優れる。
  論文  参考訳（メタデータ） (2023-10-21T00:56:11Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
  ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。 本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
  論文  参考訳（メタデータ） (2023-03-01T15:48:27Z)
• CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion [138.40422469153145]
  本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。 近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-11-26T02:40:28Z)
• Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection [65.30079184700755]
  本研究は、物体検出のために異なるように見える赤外線と可視画像の融合の問題に対処する。 従来のアプローチでは、2つのモダリティの根底にある共通点を発見し、反復最適化またはディープネットワークによって共通空間に融合する。 本稿では、融合と検出の連立問題に対する二段階最適化の定式化を提案し、その後、核融合と一般的に使用される検出ネットワークのためのターゲット認識デュアル逆学習(TarDAL)ネットワークに展開する。
  論文  参考訳（メタデータ） (2022-03-30T11:44:56Z)
• A Robust Multimodal Remote Sensing Image Registration Method and System Using Steerable Filters with First- and Second-order Gradients [7.813406811407584]
  非線形ラジオメトリック差(NRD)と有意な幾何学的歪みのため,マルチモーダルリモートセンシング画像の同時登録は現在も進行中の課題である。 本稿では,2つの重要なステップからなるステアブルフィルタに基づくロバストマッチング手法を提案する。 提案手法の性能を多種類のマルチモーダルRS画像を用いて評価した。
  論文  参考訳（メタデータ） (2022-02-27T12:22:42Z)
• Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
  我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。 我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。 このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
  論文  参考訳（メタデータ） (2021-04-07T04:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。