論文の概要: BusReF: Infrared-Visible images registration and fusion focus on
reconstructible area using one set of features
- arxiv url: http://arxiv.org/abs/2401.00285v1
- Date: Sat, 30 Dec 2023 17:32:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 18:06:01.805530
- Title: BusReF: Infrared-Visible images registration and fusion focus on
reconstructible area using one set of features
- Title（参考訳）: BusReF: 赤外線可視画像の登録と1つの特徴を用いた再構成可能領域への融合
- Authors: Zeyang Zhang, Hui Li, Tianyang Xu, Xiaojun Wu, Josef Kittler
- Abstract要約: マルチモーダルカメラが連携するシナリオでは、非アライメント画像を扱う際の問題は回避できない。
既存の画像融合アルゴリズムは、より正確な融合結果を得るために、厳密に登録された入力画像対に大きく依存している。
本稿では,BusRefと呼ばれる単一のフレームワークにおける画像登録と融合の問題に対処することを目的とする。
- 参考スコア（独自算出の注目度）: 39.575353043949725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In a scenario where multi-modal cameras are operating together, the problem
of working with non-aligned images cannot be avoided. Yet, existing image
fusion algorithms rely heavily on strictly registered input image pairs to
produce more precise fusion results, as a way to improve the performance of
downstream high-level vision tasks. In order to relax this assumption, one can
attempt to register images first. However, the existing methods for registering
multiple modalities have limitations, such as complex structures and reliance
on significant semantic information. This paper aims to address the problem of
image registration and fusion in a single framework, called BusRef. We focus on
Infrared-Visible image registration and fusion task (IVRF). In this framework,
the input unaligned image pairs will pass through three stages: Coarse
registration, Fine registration and Fusion. It will be shown that the unified
approach enables more robust IVRF. We also propose a novel training and
evaluation strategy, involving the use of masks to reduce the influence of
non-reconstructible regions on the loss functions, which greatly improves the
accuracy and robustness of the fusion task. Last but not least, a
gradient-aware fusion network is designed to preserve the complementary
information. The advanced performance of this algorithm is demonstrated by
- Abstract（参考訳）: マルチモーダルカメラが一緒に動作しているシナリオでは、アライン化されていない画像を扱う問題は回避できない。
しかし、既存の画像融合アルゴリズムは、より正確な融合結果を生成するために厳密に登録された入力画像ペアに重きを置き、下流の高レベル視覚タスクのパフォーマンスを向上させる。
この仮定を緩和するために、まず画像の登録を試みることができる。
しかし、既存の複数のモダリティを登録する手法には、複雑な構造や重要な意味情報への依存といった制限がある。
本稿では,BusRefと呼ばれる単一のフレームワークにおける画像登録と融合の問題に対処することを目的とする。
Infrared-Visible Image registration and fusion task (IVRF)に焦点を当てた。
このフレームワークでは、入力不整合イメージペアは、粗い登録、細かな登録、融合の3段階を通過する。
統一アプローチにより、より堅牢なIVRFが可能になることが示される。
また,非再構成領域が損失関数に与える影響を低減し,融合作業の正確性とロバスト性を大幅に向上させるため,マスクを用いた新しい訓練・評価手法を提案する。
最後に、勾配対応の核融合ネットワークは相補的な情報を保存するように設計されている。
このアルゴリズムの高度な性能を実証する。
関連論文リスト
- Improving Misaligned Multi-modality Image Fusion with One-stage
Progressive Dense Registration [67.23451452670282]
多モード画像間の相違は、画像融合の課題を引き起こす。
マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。
このスキームは、一段階最適化のみで粗大な登録を行う。
論文 参考訳（メタデータ） (2023-08-22T03:46:24Z) - Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。
本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。
提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
論文 参考訳（メタデータ） (2023-05-20T17:01:52Z) - LRRNet: A Novel Representation Learning Guided Fusion Network for
Infrared and Visible Images [98.36300655482196]
我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。
特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。
この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
論文 参考訳（メタデータ） (2023-04-11T12:11:23Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-11-20T12:02:07Z) - Unsupervised Misaligned Infrared and Visible Image Fusion via
Cross-Modality Image Generation and Registration [59.02821429555375]
我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。
登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
論文 参考訳（メタデータ） (2022-05-24T07:51:57Z) - TransFuse: A Unified Transformer-based Image Fusion Framework using
Self-supervised Learning [5.849513679510834]
画像融合(英: Image fusion)とは、複数のソース画像からの情報を補完情報と統合し、単一の画像の豊かさを改善する技術である。
2段階の手法では、大規模な自然言語データセット上でエンコーダ・デコーダネットワークをトレーニングすることで、タスク固有の大量のトレーニングデータの必要性を回避する。
本稿では, ネットワークがタスク固有の特徴を学習することを奨励する, 破壊再構成に基づく自己指導型学習手法を提案する。
論文 参考訳（メタデータ） (2022-01-19T07:30:44Z) - CoMIR: Contrastive Multimodal Image Representation for Registration [4.543268895439618]
我々は,CoMIR(Contrastive Multimodal Image Representations)と呼ばれる,共有された高密度画像表現を学習するためのコントラスト符号化を提案する。
CoMIRは、十分に類似した画像構造が欠如しているため、既存の登録方法がしばしば失敗するマルチモーダル画像の登録を可能にする。
論文 参考訳（メタデータ） (2020-06-11T10:51:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。