論文の概要: FuseVis: Interpreting neural networks for image fusion using per-pixel
saliency visualization
- arxiv url: http://arxiv.org/abs/2012.08932v1
- Date: Sun, 6 Dec 2020 10:03:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-22 07:18:08.002716
- Title: FuseVis: Interpreting neural networks for image fusion using per-pixel
saliency visualization
- Title（参考訳）: FuseVis: 画像融合のためのニューラルネットワークの解釈
- Authors: Nishant Kumar, Stefan Gumhold
- Abstract要約: 教師なし学習に基づく畳み込みニューラルネットワーク(CNN)は、様々な種類の画像融合タスクに利用されている。
画像融合タスクにおけるこれらのCNNの信頼性を解析することは、根拠が得られないので困難である。
本稿では,FuseVisという新たなリアルタイム可視化ツールを提案する。
- 参考スコア（独自算出の注目度）: 10.156766309614113
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image fusion helps in merging two or more images to construct a more
informative single fused image. Recently, unsupervised learning based
convolutional neural networks (CNN) have been utilized for different types of
image fusion tasks such as medical image fusion, infrared-visible image fusion
for autonomous driving as well as multi-focus and multi-exposure image fusion
for satellite imagery. However, it is challenging to analyze the reliability of
these CNNs for the image fusion tasks since no groundtruth is available. This
led to the use of a wide variety of model architectures and optimization
functions yielding quite different fusion results. Additionally, due to the
highly opaque nature of such neural networks, it is difficult to explain the
internal mechanics behind its fusion results. To overcome these challenges, we
present a novel real-time visualization tool, named FuseVis, with which the
end-user can compute per-pixel saliency maps that examine the influence of the
input image pixels on each pixel of the fused image. We trained several image
fusion based CNNs on medical image pairs and then using our FuseVis tool, we
performed case studies on a specific clinical application by interpreting the
saliency maps from each of the fusion methods. We specifically visualized the
relative influence of each input image on the predictions of the fused image
and showed that some of the evaluated image fusion methods are better suited
for the specific clinical application. To the best of our knowledge, currently,
there is no approach for visual analysis of neural networks for image fusion.
Therefore, this work opens up a new research direction to improve the
interpretability of deep fusion networks. The FuseVis tool can also be adapted
in other deep neural network based image processing applications to make them
interpretable.
- Abstract（参考訳）: 画像融合は、2つ以上の画像をマージしてより情報的な単一の融合画像を構築するのに役立つ。
近年,教師なし学習に基づく畳み込みニューラルネットワーク(cnn)は,医用画像融合,自律運転のための赤外線可視画像融合,衛星画像のマルチフォーカス・マルチエクスプロイア画像融合など,様々な種類の画像融合タスクに利用されている。
しかし, 画像融合タスクにおけるこれらのCNNの信頼性は, 根拠のないため, 解析が困難である。
これにより、さまざまなモデルアーキテクチャと最適化関数が使用され、非常に異なる融合結果が得られた。
さらに、そのようなニューラルネットワークの極めて不透明な性質のため、融合結果の背後にある内部力学を説明することは困難である。
そこで,これらの課題を克服するために,エンドユーザーが画像の各画素に対する入力画素の影響を調べるために,ピクセル単位のサリエンシーマップを計算できる,fusevisという新しいリアルタイム可視化ツールを提案する。
画像融合ベースのcnnを医用画像ペアで訓練し, ヒューズビスツールを用いて各融合法からの塩分マップを解釈し, 特定の臨床応用についてケーススタディを行った。
本研究では,各画像の相対的影響が融合画像の予測に及ぼす影響を特に可視化し,評価された画像融合法が臨床応用に適していることを示した。
我々の知る限りでは、現在、画像融合のためのニューラルネットワークの視覚的分析にはアプローチがない。
そこで本研究は,深層核融合ネットワークの解釈可能性向上のための新たな研究方向を開く。
FuseVisツールは、他のディープニューラルネットワークベースの画像処理アプリケーションに適応して解釈することもできる。
関連論文リスト
- FusionINN: Decomposable Image Fusion for Brain Tumor Monitoring [6.45135260209391]
本稿では,新しい分解可能な画像融合フレームワークFusionINNを紹介する。
融合画像の分解可能性について初めて検討する。
我々のアプローチは、高速で質的に優れた融合結果を提供する。
論文 参考訳（メタデータ） (2024-03-23T08:54:03Z) - Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-01-05T19:45:12Z) - From Text to Pixels: A Context-Aware Semantic Synergy Solution for
Infrared and Visible Image Fusion [66.33467192279514]
我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。
本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
論文 参考訳（メタデータ） (2023-12-31T08:13:47Z) - Multi-modal Medical Neurological Image Fusion using Wavelet Pooled Edge
Preserving Autoencoder [3.3828292731430545]
本稿では,エッジ保存型高密度オートエンコーダネットワークに基づくマルチモーダル医用画像に対するエンドツーエンド非教師付き核融合モデルを提案する。
提案モデルでは,特徴マップのウェーブレット分解に基づくアテンションプールを用いて特徴抽出を改善する。
提案モデルでは,ソース画像の強度分布の把握を支援する様々な医用画像ペアを訓練する。
論文 参考訳（メタデータ） (2023-10-18T11:59:35Z) - Learning a Graph Neural Network with Cross Modality Interaction for
Image Fusion [23.296468921842948]
近赤外・可視画像融合は、多モードイメージング技術の分野において、徐々に重要なフォークであることが証明されている。
本稿では,IGNetと呼ばれる,核融合のためのクロスモーダル間の対話型グラフニューラルネットワーク(GNN)アーキテクチャを提案する。
我々のIGNetは、平均2.59%のmAP@.5と7.77%のmIoUを検出およびセグメンテーションで、視覚的に魅力的な融合画像を生成することができる。
論文 参考訳（メタデータ） (2023-08-07T02:25:06Z) - A Task-guided, Implicitly-searched and Meta-initialized Deep Model for
Image Fusion [69.10255211811007]
本稿では,課題の多い現実シナリオにおいて,画像融合問題に対処するためのタスク誘導,インプリシト検索,メタ一般化(TIM)深層モデルを提案する。
具体的には、画像融合の教師なし学習プロセスを導くために、下流タスクからの情報を組み込む制約付き戦略を提案する。
このフレームワーク内に暗黙の探索スキームを設計し、高速な融合モデルのためのコンパクトなアーキテクチャを自動で発見する。
論文 参考訳（メタデータ） (2023-05-25T08:54:08Z) - An Interactively Reinforced Paradigm for Joint Infrared-Visible Image
Fusion and Saliency Object Detection [59.02821429555375]
この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。
経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。
マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
論文 参考訳（メタデータ） (2023-05-17T06:48:35Z) - LRRNet: A Novel Representation Learning Guided Fusion Network for
Infrared and Visible Images [98.36300655482196]
我々は,融合タスクを数学的に定式化し,その最適解とそれを実装可能なネットワークアーキテクチャとの接続を確立する。
特に、融合タスクに学習可能な表現アプローチを採用し、融合ネットワークアーキテクチャの構築は学習可能なモデルを生成する最適化アルゴリズムによって導かれる。
この新しいネットワークアーキテクチャに基づいて、赤外線および可視光画像を融合するために、エンドツーエンドの軽量核融合ネットワークを構築する。
論文 参考訳（メタデータ） (2023-04-11T12:11:23Z) - CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature
Ensemble for Multi-modality Image Fusion [72.8898811120795]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。
本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2022-11-20T12:02:07Z) - A Dual-branch Network for Infrared and Visible Image Fusion [20.15854042473049]
高密度ブロックとGANに基づく新しい手法を提案する。
ネットワーク全体の各層に入力された画像可視光画像を直接挿入します。
提案手法により得られた融合画像は,複数の評価指標に基づいて良好なスコアが得られることを示す。
論文 参考訳（メタデータ） (2021-01-24T04:18:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。