論文の概要: Unsupervised Misaligned Infrared and Visible Image Fusion via
Cross-Modality Image Generation and Registration
- arxiv url: http://arxiv.org/abs/2205.11876v1
- Date: Tue, 24 May 2022 07:51:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 14:26:54.272693
- Title: Unsupervised Misaligned Infrared and Visible Image Fusion via
Cross-Modality Image Generation and Registration
- Title（参考訳）: クロスモダリティ画像生成と登録による非教師なし赤外線・可視画像融合
- Authors: Di Wang, Jinyuan Liu, Xin Fan, Risheng Liu
- Abstract要約: 我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。
登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
- 参考スコア（独自算出の注目度）: 59.02821429555375
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent learning-based image fusion methods have marked numerous progress in
pre-registered multi-modality data, but suffered serious ghosts dealing with
misaligned multi-modality data, due to the spatial deformation and the
difficulty narrowing cross-modality discrepancy. To overcome the obstacles, in
this paper, we present a robust cross-modality generation-registration paradigm
for unsupervised misaligned infrared and visible image fusion (IVIF).
Specifically, we propose a Cross-modality Perceptual Style Transfer Network
(CPSTN) to generate a pseudo infrared image taking a visible image as input.
Benefiting from the favorable geometry preservation ability of the CPSTN, the
generated pseudo infrared image embraces a sharp structure, which is more
conducive to transforming cross-modality image alignment into mono-modality
registration coupled with the structure-sensitive of the infrared image. In
this case, we introduce a Multi-level Refinement Registration Network (MRRN) to
predict the displacement vector field between distorted and pseudo infrared
images and reconstruct registered infrared image under the mono-modality
setting. Moreover, to better fuse the registered infrared images and visible
images, we present a feature Interaction Fusion Module (IFM) to adaptively
select more meaningful features for fusion in the Dual-path Interaction Fusion
Network (DIFN). Extensive experimental results suggest that the proposed method
performs superior capability on misaligned cross-modality image fusion.
- Abstract（参考訳）: 近年の学習ベース画像融合法は, 事前登録されたマルチモーダルデータにおいて多くの進歩を遂げているが, 空間的変形や, 相互モダリティ差の狭化が原因で, 多モーダルデータに不一致が生じた。
そこで本稿では,教師なしの赤外線・可視画像融合(IVIF)のための,頑健な相互モダリティ生成登録パラダイムを提案する。
具体的には,視像を入力として擬似赤外線画像を生成するためのクロスモダリティ知覚スタイル転送ネットワーク(cpstn)を提案する。
生成した擬似赤外画像は、CPSTNの好適な幾何保存能力から恩恵を受け、鋭い構造を取り入れ、赤外画像の構造感受性と相まって、異質な画像アライメントをモノモダリティ登録に変換する。
本稿では、歪み画像と擬似赤外線画像の間の変位ベクトル場を予測し、モノモダリティ設定で登録された赤外線画像の再構成を行うためのMRRN(Multi-level Refinement Registration Network)を提案する。
さらに、登録された赤外線画像と可視画像の融合を改善するために、Dual-path Interaction Fusion Network(DIFN)において、より有意義な融合特徴を適応的に選択するIFM(Feature Interaction Fusion Module)を提案する。
実験結果から,提案手法は不整合画像融合において優れた性能を発揮することが示唆された。
関連論文リスト
- BusReF: Infrared-Visible images registration and fusion focus on
reconstructible area using one set of features [39.575353043949725]
マルチモーダルカメラが連携するシナリオでは、非アライメント画像を扱う際の問題は回避できない。
既存の画像融合アルゴリズムは、より正確な融合結果を得るために、厳密に登録された入力画像対に大きく依存している。
本稿では,BusRefと呼ばれる単一のフレームワークにおける画像登録と融合の問題に対処することを目的とする。
論文 参考訳（メタデータ） (2023-12-30T17:32:44Z) - Multimodal Transformer Using Cross-Channel attention for Object Detection in Remote Sensing Images [1.662438436885552]
マルチモーダル融合は、複数のモーダルからのデータを融合することで精度を高めることが決定されている。
早期に異なるチャネル間の関係をマッピングするための新しいマルチモーダル融合戦略を提案する。
本手法は,中期・後期の手法とは対照的に,早期の融合に対処することにより,既存の手法と比較して,競争力や性能に優れる。
論文 参考訳（メタデータ） (2023-10-21T00:56:11Z) - Improving Misaligned Multi-modality Image Fusion with One-stage
Progressive Dense Registration [67.23451452670282]
多モード画像間の相違は、画像融合の課題を引き起こす。
マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。
このスキームは、一段階最適化のみで粗大な登録を行う。
論文 参考訳（メタデータ） (2023-08-22T03:46:24Z) - Breaking Modality Disparity: Harmonized Representation for Infrared and
Visible Image Registration [66.33746403815283]
シーン適応型赤外線と可視画像の登録を提案する。
我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。
我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
論文 参考訳（メタデータ） (2023-04-12T06:49:56Z) - CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion [138.40422469153145]
本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。
近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-11-26T02:40:28Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-11-20T12:02:07Z) - SA-DNet: A on-demand semantic object registration network adapting to
non-rigid deformation [3.3843451892622576]
本稿では,特徴マッチング処理を関心のある意味領域に限定するセマンティック・アウェア・オン・デマンド登録ネットワーク(SA-DNet)を提案する。
本手法は,画像中の非剛性歪みの存在に適応し,意味的によく登録された画像を提供する。
論文 参考訳（メタデータ） (2022-10-18T14:41:28Z) - Towards Homogeneous Modality Learning and Multi-Granularity Information
Exploration for Visible-Infrared Person Re-Identification [16.22986967958162]
Visible-infrared person re-identification (VI-ReID) は、可視・赤外線カメラビューを介して人物画像の集合を検索することを目的とした、困難かつ必須の課題である。
従来の手法では, GAN (Generative Adversarial Network) を用いて, モーダリティ・コンシデント・データを生成する手法が提案されている。
そこで本研究では、視線外デュアルモード学習をグレーグレー単一モード学習問題として再構成する、統一されたダークラインスペクトルであるAligned Grayscale Modality (AGM)を用いて、モード間マッチング問題に対処する。
論文 参考訳（メタデータ） (2022-04-11T03:03:19Z) - Modality-Adaptive Mixup and Invariant Decomposition for RGB-Infrared
Person Re-Identification [84.32086702849338]
RGB-赤外線人物再同定のための新しいモダリティ適応混合・不変分解(MID)手法を提案する。
MIDは、RGBと赤外線画像の混合画像を生成するためのモダリティ適応混合方式を設計する。
2つの挑戦的なベンチマーク実験は、最先端の手法よりもMIDの優れた性能を示す。
論文 参考訳（メタデータ） (2022-03-03T14:26:49Z) - TGFuse: An Infrared and Visible Image Fusion Approach Based on
Transformer and Generative Adversarial Network [15.541268697843037]
本稿では,軽量トランスモジュールと対向学習に基づく赤外可視画像融合アルゴリズムを提案する。
大域的相互作用力にインスパイアされた我々は、トランスフォーマー技術を用いて、効果的な大域的核融合関係を学習する。
実験により提案したモジュールの有効性が実証された。
論文 参考訳（メタデータ） (2022-01-25T07:43:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。