論文の概要: Improving Misaligned Multi-modality Image Fusion with One-stage Progressive Dense Registration

• arxiv url: http://arxiv.org/abs/2308.11165v1
• Date: Tue, 22 Aug 2023 03:46:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 19:16:40.814636
• Title: Improving Misaligned Multi-modality Image Fusion with One-stage Progressive Dense Registration
• Title（参考訳）: 1段階プログレッシブ・デングレーションによるマルチモダリティ画像融合の精度向上
• Authors: Di Wang, Jinyuan Liu, Long Ma, Risheng Liu, Xin Fan
• Abstract要約: 多モード画像間の相違は、画像融合の課題を引き起こす。 マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。 このスキームは、一段階最適化のみで粗大な登録を行う。
• 参考スコア（独自算出の注目度）: 67.23451452670282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Misalignments between multi-modality images pose challenges in image fusion, manifesting as structural distortions and edge ghosts. Existing efforts commonly resort to registering first and fusing later, typically employing two cascaded stages for registration,i.e., coarse registration and fine registration. Both stages directly estimate the respective target deformation fields. In this paper, we argue that the separated two-stage registration is not compact, and the direct estimation of the target deformation fields is not accurate enough. To address these challenges, we propose a Cross-modality Multi-scale Progressive Dense Registration (C-MPDR) scheme, which accomplishes the coarse-to-fine registration exclusively using a one-stage optimization, thus improving the fusion performance of misaligned multi-modality images. Specifically, two pivotal components are involved, a dense Deformation Field Fusion (DFF) module and a Progressive Feature Fine (PFF) module. The DFF aggregates the predicted multi-scale deformation sub-fields at the current scale, while the PFF progressively refines the remaining misaligned features. Both work together to accurately estimate the final deformation fields. In addition, we develop a Transformer-Conv-based Fusion (TCF) subnetwork that considers local and long-range feature dependencies, allowing us to capture more informative features from the registered infrared and visible images for the generation of high-quality fused images. Extensive experimental analysis demonstrates the superiority of the proposed method in the fusion of misaligned cross-modality images.
• Abstract（参考訳）: 多モード画像間の相違は、画像融合の課題を引き起こし、構造的歪みとエッジゴーストとして現れる。 既存の努力は、一般的に最初に登録し、後に融合し、通常、粗い登録と細かな登録の2つの段階を使用する。 どちらの段階も、それぞれの目標変形場を直接推定する。 本稿では,分離した2段階の登録はコンパクトではなく,対象変形場の直接推定は十分正確ではないと主張する。 これらの課題に対処するために,一段階最適化のみを用いて粗粒間登録を実現し,不整合マルチモダリティ画像の融合性能を向上させるクロスモダリティマルチスケールプログレッシブデント登録(c-mpdr)方式を提案する。 具体的には、密度変形場融合(DFF)モジュールとプログレッシブ・フィーチャー・ファイン(PFF)モジュールの2つの重要な要素が関与している。 DFFは予測されたマルチスケール変形サブフィールドを現在のスケールで集約し、PFFは残りの不整合性を徐々に洗練する。 両者は協力して最終変形場を正確に推定する。 さらに,局所的および長距離的特徴依存を考慮したTransformer-Conv-based Fusion (TCF) サブネットワークを開発し,高品質な融合画像を生成するために,登録された赤外線および可視画像からより情報的な特徴を捉えることができる。 広汎な実験解析により,不整合画像の融合における提案手法の優位性を示した。

関連論文リスト

• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• SRIF: Semantic Shape Registration Empowered by Diffusion-based Image Morphing and Flow Estimation [2.336821026049481]
  拡散型画像モーフィングとフロー推定に基づく新しいセマンティック形状登録フレームワークSRIFを提案する。 SRIFは、挑戦的な形状対に関する高品質な密接な対応を実現するが、その間にスムーズで意味のある意味を与える。
  論文  参考訳（メタデータ） (2024-09-18T03:47:24Z)
• BusReF: Infrared-Visible images registration and fusion focus on reconstructible area using one set of features [39.575353043949725]
  マルチモーダルカメラが連携するシナリオでは、非アライメント画像を扱う際の問題は回避できない。 既存の画像融合アルゴリズムは、より正確な融合結果を得るために、厳密に登録された入力画像対に大きく依存している。 本稿では,BusRefと呼ばれる単一のフレームワークにおける画像登録と融合の問題に対処することを目的とする。
  論文  参考訳（メタデータ） (2023-12-30T17:32:44Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• Breaking Modality Disparity: Harmonized Representation for Infrared and Visible Image Registration [66.33746403815283]
  シーン適応型赤外線と可視画像の登録を提案する。 我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。 我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
  論文  参考訳（メタデータ） (2023-04-12T06:49:56Z)
• Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration [59.02821429555375]
  我々は、教師なし不整合赤外線と可視画像融合のための頑健な相互モダリティ生成登録パラダイムを提案する。 登録された赤外線画像と可視画像とを融合させるため,IFM (Feature Interaction Fusion Module) を提案する。
  論文  参考訳（メタデータ） (2022-05-24T07:51:57Z)
• Joint Progressive and Coarse-to-fine Registration of Brain MRI via Deformation Field Integration and Non-Rigid Feature Fusion [9.19672265043614]
  本稿では,脳MRIのプログレッシブ・ツー・ファインの両方で頑健な登録を行うための統一的枠組みを提案する。 具体的には、デュアルエンコーダU-Net上に構築された固定移動MRIペアを符号化し、マルチスケールの変形サブフィールドにデコードする。
  論文  参考訳（メタデータ） (2021-09-25T15:20:52Z)
• TFill: Image Completion via a Transformer-Based Architecture [69.62228639870114]
  画像補完を無方向性シーケンス対シーケンス予測タスクとして扱うことを提案する。 トークン表現には,小かつ重複しないRFを持つ制限型CNNを用いる。 第2フェーズでは、可視領域と発生領域の外観整合性を向上させるために、新しい注意認識層(aal)を導入する。
  論文  参考訳（メタデータ） (2021-04-02T01:42:01Z)
• Unsupervised Multimodal Image Registration with Adaptative Gradient Guidance [23.461130560414805]
  教師なし学習に基づく手法は、変形可能な画像登録における精度と効率よりも有望な性能を示す。 既存の手法の予測変形場は、登録済み画像対に完全に依存する。 両モデルから推定される変形場を利用する新しい多モード登録フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-12T05:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。