論文の概要: FusionINN: Invertible Image Fusion for Brain Tumor Monitoring
- arxiv url: http://arxiv.org/abs/2403.15769v2
- Date: Tue, 2 Apr 2024 13:16:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 07:48:16.683956
- Title: FusionINN: Invertible Image Fusion for Brain Tumor Monitoring
- Title（参考訳）: FusionINN:脳腫瘍モニタリングのための可逆画像融合
- Authors: Nishant Kumar, Ziyan Tao, Jaikirat Singh, Yang Li, Peiwen Sun, Binghui Zhao, Stefan Gumhold,
- Abstract要約: FusionINNは、融合した画像を効率よく生成し、ソース画像に分解することができる、新しい非可逆画像融合フレームワークである。
我々は、医療用画像融合のような生命に敏感な用途に欠かせない、融合した画像の分解可能性について、初めて調査する。
- 参考スコア（独自算出の注目度）: 6.45135260209391
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image fusion typically employs non-invertible neural networks to merge multiple source images into a single fused image. However, for clinical experts, solely relying on fused images may be insufficient for making diagnostic decisions, as the fusion mechanism blends features from source images, thereby making it difficult to interpret the underlying tumor pathology. We introduce FusionINN, a novel invertible image fusion framework, capable of efficiently generating fused images and also decomposing them back to the source images by solving the inverse of the fusion process. FusionINN guarantees lossless one-to-one pixel mapping by integrating a normally distributed latent image alongside the fused image to facilitate the generative modeling of the decomposition process. To the best of our knowledge, we are the first to investigate the decomposability of fused images, which is particularly crucial for life-sensitive applications such as medical image fusion compared to other tasks like multi-focus or multi-exposure image fusion. Our extensive experimentation validates FusionINN over existing discriminative and generative fusion methods, both subjectively and objectively. Moreover, compared to a recent denoising diffusion-based fusion model, our approach offers faster and qualitatively better fusion results. We also exhibit the clinical utility of our results in aiding disease prognosis.
- Abstract（参考訳）: 画像融合は通常、複数のソースイメージを単一の融合イメージにマージするために、非可逆ニューラルネットワークを使用する。
しかし, 臨床専門医では, 融合機構が原像の特徴を融合させ, 基礎疾患の理解を困難にするため, 融合画像のみに頼って診断を下すには不十分である可能性がある。
融合過程の逆解を解き、融合画像を効率よく生成し、元の画像に分解することができる新しい非可逆画像融合フレームワークであるFusionINNを紹介する。
FusionINNは、通常分散された潜像と融合して分解過程の生成的モデリングを容易にすることで、損失のない1対1のピクセルマッピングを保証する。
特に,マルチフォーカスやマルチ露光画像融合といった他のタスクと比較して,医用画像融合などのライフセンシティブな応用には特に重要である。
我々の広範な実験は、既存の識別的および生成的融合法に対して、主観的および客観的にFusionINNを検証する。
さらに,近年の拡散型核融合モデルと比較すると,より高速かつ質的に優れた核融合結果が得られる。
また,本症例の臨床的有用性も明らかにした。
関連論文リスト
- Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
画像融合の本質は、ソース画像からの相補的な情報を統合することである。
DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
論文 参考訳（メタデータ） (2024-10-16T06:28:49Z) - Fuse4Seg: Image-Level Fusion Based Multi-Modality Medical Image Segmentation [13.497613339200184]
現在の機能レベルの融合戦略は、セマンティックな不整合やミスアライメントを引き起こす傾向がある、と我々は主張する。
画像レベルでの融合に基づく新しい医用画像分割法Fuse4Segを提案する。
得られた融合画像は、すべてのモダリティからの情報を正確にアマルガメートするコヒーレントな表現である。
論文 参考訳（メタデータ） (2024-09-16T14:39:04Z) - A New Multimodal Medical Image Fusion based on Laplacian Autoencoder
with Channel Attention [3.1531360678320897]
ディープラーニングモデルは、非常に堅牢で正確なパフォーマンスでエンドツーエンドの画像融合を実現した。
ほとんどのDLベースの融合モデルは、学習可能なパラメータや計算量を最小限に抑えるために、入力画像上でダウンサンプリングを行う。
本稿では,ラープラシア・ガウス統合とアテンションプールを融合したマルチモーダル医用画像融合モデルを提案する。
論文 参考訳（メタデータ） (2023-10-18T11:29:53Z) - A Task-guided, Implicitly-searched and Meta-initialized Deep Model for
Image Fusion [69.10255211811007]
本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。
具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。
このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
論文 参考訳（メタデータ） (2023-05-25T08:54:08Z) - Equivariant Multi-Modality Image Fusion [124.11300001864579]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。
我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。
実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
論文 参考訳（メタデータ） (2023-05-19T05:50:24Z) - DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。
近赤外可視画像融合と医用画像融合で有望な融合が得られた。
論文 参考訳（メタデータ） (2023-03-13T04:06:42Z) - An Attention-based Multi-Scale Feature Learning Network for Multimodal
Medical Image Fusion [24.415389503712596]
マルチモーダル医療画像は、医師が診断する患者についての豊富な情報を提供する可能性がある。
画像融合技術は、マルチモーダル画像からの補完情報を単一の画像に合成することができる。
医用画像融合タスクのための新しいDilated Residual Attention Networkを提案する。
論文 参考訳（メタデータ） (2022-12-09T04:19:43Z) - CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for
Multi-Modality Image Fusion [138.40422469153145]
本稿では,CDDFuse(Relationed-Driven Feature Decomposition Fusion)ネットワークを提案する。
近赤外可視画像融合や医用画像融合など,複数の融合タスクにおいてCDDFuseが有望な結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-11-26T02:40:28Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-11-20T12:02:07Z) - Coupled Feature Learning for Multimodal Medical Image Fusion [42.23662451234756]
マルチモーダル画像融合は、取得した画像と異なるセンサーの関連情報を組み合わせることを目指しています。
本稿では,結合辞書学習に基づく新しいマルチモーダル画像融合法を提案する。
論文 参考訳（メタデータ） (2021-02-17T09:13:28Z) - FuseVis: Interpreting neural networks for image fusion using per-pixel
saliency visualization [10.156766309614113]
教師なし学習に基づく畳み込みニューラルネットワーク(CNN)は、様々な種類の画像融合タスクに利用されている。
画像融合タスクにおけるこれらのCNNの信頼性を解析することは、根拠が得られないので困難である。
本稿では,FuseVisという新たなリアルタイム可視化ツールを提案する。
論文 参考訳（メタデータ） (2020-12-06T10:03:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。