論文の概要: Bi-directional Self-Registration for Misaligned Infrared-Visible Image Fusion

• arxiv url: http://arxiv.org/abs/2505.06920v1
• Date: Sun, 11 May 2025 09:36:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.117212
• Title: Bi-directional Self-Registration for Misaligned Infrared-Visible Image Fusion
• Title（参考訳）: 近赤外可視画像融合のための双方向自己登録法
• Authors: Timing Li, Bing Cao, Pengfei Zhu, Bin Xiao, Qinghua Hu,
• Abstract要約: 高品質なマルチモーダル画像融合を実現するためには,高精度なマルチモーダル画像ペアの取得が不可欠である。 我々は、新しい自己教師型 textbfBi-directional textbfSelf-textbfRegistration framework (textbfB-SR) を提案する。
• 参考スコア（独自算出の注目度）: 53.60977801655896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Acquiring accurately aligned multi-modal image pairs is fundamental for achieving high-quality multi-modal image fusion. To address the lack of ground truth in current multi-modal image registration and fusion methods, we propose a novel self-supervised \textbf{B}i-directional \textbf{S}elf-\textbf{R}egistration framework (\textbf{B-SR}). Specifically, B-SR utilizes a proxy data generator (PDG) and an inverse proxy data generator (IPDG) to achieve self-supervised global-local registration. Visible-infrared image pairs with spatially misaligned differences are aligned to obtain global differences through the registration module. The same image pairs are processed by PDG, such as cropping, flipping, stitching, etc., and then aligned to obtain local differences. IPDG converts the obtained local differences into pseudo-global differences, which are used to perform global-local difference consistency with the global differences. Furthermore, aiming at eliminating the effect of modal gaps on the registration module, we design a neighborhood dynamic alignment loss to achieve cross-modal image edge alignment. Extensive experiments on misaligned multi-modal images demonstrate the effectiveness of the proposed method in multi-modal image alignment and fusion against the competing methods. Our code will be publicly available.
• Abstract（参考訳）: 高品質なマルチモーダル画像融合を実現するためには,高精度なマルチモーダル画像ペアの取得が不可欠である。 現在のマルチモーダル画像登録と融合法における基底真理の欠如に対処するため,新しい自己教師型 \textbf{B}i-direct \textbf{S}elf-\textbf{R}egistration framework (\textbf{B-SR}) を提案する。 具体的には、プロキシデータジェネレータ(PDG)と逆プロキシデータジェネレータ(IPDG)を使用して、自己管理されたグローバルローカル登録を実現する。 空間的不整合を有する可視赤外画像対を整列して、登録モジュールを介して大域的差を求める。 同じ画像対は、トリミング、フリップ、縫合などのPDGによって処理され、その後、局所的な違いを得るために整列される。 IPDGは得られた局所的な差分を擬似グローバル差分に変換し、グローバルな差分とグローバルな局所的な差分整合を行う。 さらに, モードギャップが登録モジュールに与える影響を解消することを目的として, クロスモーダル画像エッジアライメントを実現するために, 近傍の動的アライメント損失を設計する。 マルチモーダル画像アライメントにおける提案手法の有効性を実証し, 競合する手法に対する融合実験を行った。 私たちのコードは公開されます。

関連論文リスト

• OSDM-MReg: Multimodal Image Registration based One Step Diffusion Model [8.619958921346184]
  マルチモーダルリモートセンシング画像登録は、データ融合と解析のために異なるセンサからの画像を整列する。 我々は,新しいマルチモーダル画像登録フレームワークであるOSDM-MRegを提案する。 実験は、様々なマルチモーダル登録タスクにおいて、精度と効率が優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-08T13:32:56Z)
• BSAFusion: A Bidirectional Stepwise Feature Alignment Network for Unaligned Medical Image Fusion [11.306367018981678]
  本稿では,両方向ステップワイド・フィーチャーアライメントとフュージョンという,不整合な医用画像融合法を提案する。 特徴アライメントの観点では、BSFA-Fは双方向の段階的なアライメント変形場予測戦略を採用している。 複数のデータセットにまたがる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-12-11T02:56:23Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• Improving Misaligned Multi-modality Image Fusion with One-stage Progressive Dense Registration [67.23451452670282]
  多モード画像間の相違は、画像融合の課題を引き起こす。 マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。 このスキームは、一段階最適化のみで粗大な登録を行う。
  論文  参考訳（メタデータ） (2023-08-22T03:46:24Z)
• Dual-Flow Transformation Network for Deformable Image Registration with Region Consistency Constraint [95.30864269428808]
  現在のディープラーニング(DL)ベースの画像登録アプローチは、畳み込みニューラルネットワークを利用して、ある画像から別の画像への空間変換を学習する。 一対のイメージ内のROIの類似性を最大化する領域整合性制約を持つ新しいデュアルフロー変換ネットワークを提案する。 4つの公開3次元MRIデータセットを用いた実験により,提案手法は精度と一般化において最高の登録性能が得られることを示した。
  論文  参考訳（メタデータ） (2021-12-04T05:30:44Z)
• Global and Local Alignment Networks for Unpaired Image-to-Image Translation [170.08142745705575]
  未ペア画像から画像への変換の目的は、対象領域のスタイルを反映した出力画像を作成することである。 既存の手法では内容変化に注意が払われていないため、ソース画像からの意味情報は翻訳中の劣化に悩まされる。 我々はGLA-Net(Global and Local Alignment Networks)という新しいアプローチを導入する。 本手法は既存の手法よりもシャープでリアルな画像を効果的に生成する。
  論文  参考訳（メタデータ） (2021-11-19T18:01:54Z)
• DF^2AM: Dual-level Feature Fusion and Affinity Modeling for RGB-Infrared Cross-modality Person Re-identification [18.152310122348393]
  RGB-赤外線による人物再識別は、クラス内変異とモダリティの相違が原因で難しい課題である。 我々は,局所的・グローバル的特徴融合(df2)モジュールを,局所的特徴とグローバル的特徴の区別に着目して提案する。 人物画像からグローバルな特徴間の関係をさらに掘り下げるために,親和性モデリング(AM)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-01T03:12:56Z)
• CoMIR: Contrastive Multimodal Image Representation for Registration [4.543268895439618]
  我々は,CoMIR(Contrastive Multimodal Image Representations)と呼ばれる,共有された高密度画像表現を学習するためのコントラスト符号化を提案する。 CoMIRは、十分に類似した画像構造が欠如しているため、既存の登録方法がしばしば失敗するマルチモーダル画像の登録を可能にする。
  論文  参考訳（メタデータ） (2020-06-11T10:51:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。