Fugu-MT 論文翻訳(概要): TaGAT: Topology-Aware Graph Attention Network For Multi-modal Retinal Image Fusion

論文の概要: TaGAT: Topology-Aware Graph Attention Network For Multi-modal Retinal Image Fusion

arxiv url: http://arxiv.org/abs/2407.14188v1
Date: Fri, 19 Jul 2024 10:32:06 GMT
ステータス: 処理完了
システム内更新日: 2024-07-22 17:54:18.939712
Title: TaGAT: Topology-Aware Graph Attention Network For Multi-modal Retinal Image Fusion
Title（参考訳）: TaGAT:マルチモーダル網膜画像融合のためのトポロジー対応グラフアテンションネットワーク
Authors: Xin Tian, Nantheera Anantrasirichai, Lindsay Nicholson, Alin Achim,
Abstract要約: マルチモーダル網膜画像融合のためのTopology-Aware Graph Attention Network (TaGAT)を提案する。われわれはFluorescein Fundus Angiography (FFA) においてColor Fundus (CF) と光コヒーレンス・トモグラフィー (OCT) を併用し, 共焦点顕微鏡による網膜核融合法を応用した。
参考スコア（独自算出の注目度）: 11.321411104729002
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In the realm of medical image fusion, integrating information from various modalities is crucial for improving diagnostics and treatment planning, especially in retinal health, where the important features exhibit differently in different imaging modalities. Existing deep learning-based approaches insufficiently focus on retinal image fusion, and thus fail to preserve enough anatomical structure and fine vessel details in retinal image fusion. To address this, we propose the Topology-Aware Graph Attention Network (TaGAT) for multi-modal retinal image fusion, leveraging a novel Topology-Aware Encoder (TAE) with Graph Attention Networks (GAT) to effectively enhance spatial features with retinal vasculature's graph topology across modalities. The TAE encodes the base and detail features, extracted via a Long-short Range (LSR) encoder from retinal images, into the graph extracted from the retinal vessel. Within the TAE, the GAT-based Graph Information Update (GIU) block dynamically refines and aggregates the node features to generate topology-aware graph features. The updated graph features with base and detail features are combined and decoded as a fused image. Our model outperforms state-of-the-art methods in Fluorescein Fundus Angiography (FFA) with Color Fundus (CF) and Optical Coherence Tomography (OCT) with confocal microscopy retinal image fusion. The source code can be accessed via https://github.com/xintian-99/TaGAT.
Abstract（参考訳）: 医用画像融合の分野では、様々なモダリティからの情報を統合することが診断や治療計画の改善に不可欠であり、特に網膜の健康において重要な特徴は異なる画像モダリティで異なる。既存のディープラーニングベースのアプローチは、網膜画像融合に十分に焦点を合わせていないため、十分な解剖学的構造と網膜画像融合における細血管の細部を保存できない。そこで我々は,マルチモーダル網膜画像融合のためのTopology-Aware Graph Attention Network (TaGAT)を提案する。 TAEは、網膜画像からロングショートレンジ(LSR)エンコーダを介して抽出されたベースと詳細の特徴を網膜血管から抽出したグラフにエンコードする。 TAE内では、GATベースのグラフ情報更新(GIU)ブロックが動的に洗練され、ノード機能を集約し、トポロジ対応グラフ機能を生成する。ベース機能とディテール機能を備えた更新されたグラフ機能は、融合されたイメージとして組み合わせてデコードされる。われわれはFluorescein Fundus Angiography (FFA) においてColor Fundus (CF) と光コヒーレンス・トモグラフィー (OCT) を併用し, 共焦点顕微鏡による網膜核融合を行った。ソースコードはhttps://github.com/xintian-99/TaGATでアクセスできる。

関連論文リスト

Progressive Retinal Image Registration via Global and Local Deformable Transformations [49.032894312826244]
我々はHybridRetinaと呼ばれるハイブリッド登録フレームワークを提案する。キーポイント検出器とGAMorphと呼ばれる変形ネットワークを用いて、大域的な変換と局所的な変形可能な変換を推定する。 FIREとFLoRI21という2つの広く使われているデータセットの実験により、提案したHybridRetinaは最先端の手法よりも大幅に優れていることが示された。
論文参考訳（メタデータ） (2024-09-02T08:43:50Z)
Mew: Multiplexed Immunofluorescence Image Analysis through an Efficient Multiplex Network [84.88767228835928]
マルチプレックスネットワークのレンズを通してmIF画像を効率的に処理する新しいフレームワークであるMewを紹介する。 Mew は、幾何学情報のための Voronoi ネットワークと、セルワイドの均一性を捉えるセル型ネットワークという、2つの異なる層からなる多重ネットワークを革新的に構築する。このフレームワークは、トレーニング中にグラフ全体を処理できるスケーラブルで効率的なグラフニューラルネットワーク(GNN)を備えている。
論文参考訳（メタデータ） (2024-07-25T08:22:30Z)
Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。最初はFlyTracingという名前のデータセットを構築しました。本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文参考訳（メタデータ） (2024-01-05T19:45:12Z)
Learning a Graph Neural Network with Cross Modality Interaction for Image Fusion [23.296468921842948]
近赤外・可視画像融合は、多モードイメージング技術の分野において、徐々に重要なフォークであることが証明されている。本稿では,IGNetと呼ばれる,核融合のためのクロスモーダル間の対話型グラフニューラルネットワーク(GNN)アーキテクチャを提案する。我々のIGNetは、平均2.59%のmAP@.5と7.77%のmIoUを検出およびセグメンテーションで、視覚的に魅力的な融合画像を生成することができる。
論文参考訳（メタデータ） (2023-08-07T02:25:06Z)
Multi-Scale Relational Graph Convolutional Network for Multiple Instance Learning in Histopathology Images [2.6663738081163726]
マルチスケールグラフ畳み込みネットワーク(MS-RGCN)をマルチラーニング手法として導入する。病理組織像パッチと近隣のパッチと他のスケールのパッチとの関係をグラフとしてモデル化する。前立腺癌の病理組織像を実験的に検討し,パッチから抽出した特徴に基づいて拡大群を予測した。
論文参考訳（メタデータ） (2022-12-17T02:26:42Z)
CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion [68.78897015832113]
我々は、赤外線と可視画像の融合を実現するために、CoCoNetと呼ばれるコントラスト学習ネットワークを提案する。本手法は,主観的評価と客観的評価の両面において,最先端(SOTA)性能を実現する。
論文参考訳（メタデータ） (2022-11-20T12:02:07Z)
Affinity Feature Strengthening for Accurate, Complete and Robust Vessel Segmentation [48.638327652506284]
血管セグメンテーションは、冠動脈狭窄、網膜血管疾患、脳動脈瘤などの多くの医学的応用において重要である。コントラストに敏感なマルチスケールアフィニティアプローチを用いて,幾何学的手法と画素単位のセグメンテーション特徴を連成的にモデル化する新しいアプローチであるAFNを提案する。
論文参考訳（メタデータ） (2022-11-12T05:39:17Z)
Multi-modal Retinal Image Registration Using a Keypoint-Based Vessel Structure Aligning Network [9.988115865060589]
マルチモーダル網膜画像登録のためのエンドツーエンドのトレーニング可能なディープラーニング手法を提案する。本手法は,キーポイントの検出と記述のために,容器構造から畳み込み特性を抽出する。キーポイント検出・記述ネットワークとグラフニューラルネットワークは、自己教師された方法で共同で訓練される。
論文参考訳（メタデータ） (2022-07-21T14:36:51Z)
A novel approach for glaucoma classification by wavelet neural networks using graph-based, statisitcal features of qualitatively improved images [0.0]
我々は、最適な拡張網膜画像特徴にウェーブレットニューラルネットワーク(WNN)を用いた新しい緑内障分類手法を提案する。 WNN分類器の性能は、様々なデータセットを持つ多層パーセプトロンニューラルネットワークと比較される。
論文参考訳（メタデータ） (2022-06-24T06:19:30Z)
A Keypoint Detection and Description Network Based on the Vessel Structure for Multi-Modal Retinal Image Registration [0.0]
異なるモダリティや取得時間を持つ複数の画像は、網膜疾患の診断のためにしばしば分析される。本手法は、畳み込みニューラルネットワークを用いて、多モード網膜画像の血管構造の特徴を抽出する。
論文参考訳（メタデータ） (2022-01-06T20:43:35Z)
Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文参考訳（メタデータ） (2020-03-31T11:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。