論文の概要: BSAFusion: A Bidirectional Stepwise Feature Alignment Network for Unaligned Medical Image Fusion

• arxiv url: http://arxiv.org/abs/2412.08050v2
• Date: Fri, 13 Dec 2024 08:38:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 11:43:05.917562
• Title: BSAFusion: A Bidirectional Stepwise Feature Alignment Network for Unaligned Medical Image Fusion
• Title（参考訳）: BSAFusion: 医療画像融合のための双方向ステップワイド機能アライメントネットワーク
• Authors: Huafeng Li, Dayong Su, Qing Cai, Yafei Zhang,
• Abstract要約: 本稿では,両方向ステップワイド・フィーチャーアライメントとフュージョンという,不整合な医用画像融合法を提案する。 特徴アライメントの観点では、BSFA-Fは双方向の段階的なアライメント変形場予測戦略を採用している。 複数のデータセットにまたがる実験結果から,本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 11.306367018981678
• License:
• Abstract: If unaligned multimodal medical images can be simultaneously aligned and fused using a single-stage approach within a unified processing framework, it will not only achieve mutual promotion of dual tasks but also help reduce the complexity of the model. However, the design of this model faces the challenge of incompatible requirements for feature fusion and alignment; specifically, feature alignment requires consistency among corresponding features, whereas feature fusion requires the features to be complementary to each other. To address this challenge, this paper proposes an unaligned medical image fusion method called Bidirectional Stepwise Feature Alignment and Fusion (BSFA-F) strategy. To reduce the negative impact of modality differences on cross-modal feature matching, we incorporate the Modal Discrepancy-Free Feature Representation (MDF-FR) method into BSFA-F. MDF-FR utilizes a Modality Feature Representation Head (MFRH) to integrate the global information of the input image. By injecting the information contained in MFRH of the current image into other modality images, it effectively reduces the impact of modality differences on feature alignment while preserving the complementary information carried by different images. In terms of feature alignment, BSFA-F employs a bidirectional stepwise alignment deformation field prediction strategy based on the path independence of vector displacement between two points. This strategy solves the problem of large spans and inaccurate deformation field prediction in single-step alignment. Finally, Multi-Modal Feature Fusion block achieves the fusion of aligned features. The experimental results across multiple datasets demonstrate the effectiveness of our method. The source code is available at https://github.com/slrl123/BSAFusion.
• Abstract（参考訳）: 非整合型マルチモーダル医療画像が統一処理フレームワーク内で単一段階のアプローチで同時に整列・融合できる場合、二重タスクの相互促進だけでなく、モデルの複雑さの軽減にも役立ちます。 しかし、このモデルの設計は、機能融合とアライメントの不整合性の要件に直面している。 この課題に対処するために,BSFA-F(Bidirectional Stepwise Feature Alignment and Fusion)戦略と呼ばれる医用画像融合手法を提案する。 モーダル離散自由特徴表現法(MDF-FR)をBSFA-Fに組み込んだ。 MDF-FRは、MFRH(Modality Feature Representation Head)を使用して、入力画像のグローバル情報を統合する。 電流画像のMFRHに含まれる情報を他のモダリティ画像に注入することにより、異なる画像が持つ補完情報を保存しつつ、特徴アライメントに対するモダリティ差の影響を効果的に低減する。 特徴アライメントの観点では、BSFA-Fは2点間のベクトル変位の経路独立性に基づく双方向の段階的アライメント変形場予測戦略を用いる。 この戦略は1ステップのアライメントにおいて大きなスパンの問題を解き、不正確な変形場予測を行う。 最後に、Multi-Modal Feature Fusionブロックは、整列した機能の融合を実現する。 複数のデータセットにまたがる実験結果から,本手法の有効性が示された。 ソースコードはhttps://github.com/slrl123/BSAFusion.comで入手できる。

関連論文リスト

• Rethinking Normalization Strategies and Convolutional Kernels for Multimodal Image Fusion [25.140475569677758]
  マルチモーダル画像融合は、様々なモーダルからの情報を総合的な画像を得るために統合することを目的としている。 既存の手法では、自然画像の融合を優先し、情報補完とネットワークトレーニング戦略に重点を置く傾向にある。 本稿では,融合目標,統計特性,およびデータ分布に関する2つの課題の有意な差異を論じる。
  論文  参考訳（メタデータ） (2024-11-15T08:36:24Z)
• Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
  画像融合の本質は、ソース画像からの相補的な情報を統合することである。 DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
  論文  参考訳（メタデータ） (2024-10-16T06:28:49Z)
• Embracing Events and Frames with Hierarchical Feature Refinement Network for Object Detection [17.406051477690134]
  イベントカメラはスパースと非同期のイベントを出力し、これらの問題を解決する潜在的な解決策を提供する。 イベントフレーム融合のための新しい階層的特徴改善ネットワークを提案する。 本手法は, フレーム画像に15種類の汚損タイプを導入する際に, 極めて優れたロバスト性を示す。
  論文  参考訳（メタデータ） (2024-07-17T14:09:46Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Fusion-Mamba for Cross-modality Object Detection [63.56296480951342]
  異なるモダリティから情報を融合するクロスモダリティは、オブジェクト検出性能を効果的に向上させる。 We design a Fusion-Mamba block (FMB) to map cross-modal features into a hidden state space for interaction。 提案手法は,m3FD$が5.9%,FLIRデータセットが4.9%,m3FD$が5.9%である。
  論文  参考訳（メタデータ） (2024-04-14T05:28:46Z)
• Mutual-Guided Dynamic Network for Image Fusion [51.615598671899335]
  画像融合のための新しい相互誘導動的ネットワーク(MGDN)を提案する。 5つのベンチマークデータセットによる実験結果から,提案手法は4つの画像融合タスクにおいて既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-24T03:50:37Z)
• Improving Misaligned Multi-modality Image Fusion with One-stage Progressive Dense Registration [67.23451452670282]
  多モード画像間の相違は、画像融合の課題を引き起こす。 マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。 このスキームは、一段階最適化のみで粗大な登録を行う。
  論文  参考訳（メタデータ） (2023-08-22T03:46:24Z)
• Unsupervised Image Fusion Method based on Feature Mutual Mapping [16.64607158983448]
  上記の問題に対処するために,教師なし適応画像融合法を提案する。 入力元画像間の画素の接続を計測するグローバルマップを構築した。 本手法は視覚的知覚と客観的評価の両方において優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-01-25T07:50:14Z)
• AlignSeg: Feature-Aligned Segmentation Networks [109.94809725745499]
  本稿では,機能集約プロセスにおける誤アライメント問題に対処するために,特徴適応型ネットワーク(AlignSeg)を提案する。 我々のネットワークは、それぞれ82.6%と45.95%という新しい最先端のmIoUスコアを達成している。
  論文  参考訳（メタデータ） (2020-02-24T10:00:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。