論文の概要: MMGPL: Multimodal Medical Data Analysis with Graph Prompt Learning
- arxiv url: http://arxiv.org/abs/2312.14574v2
- Date: Thu, 27 Jun 2024 13:29:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-28 19:56:44.551823
- Title: MMGPL: Multimodal Medical Data Analysis with Graph Prompt Learning
- Title（参考訳）: MMGPL:グラフプロンプト学習によるマルチモーダル医療データ分析
- Authors: Liang Peng, Songyue Cai, Zongqian Wu, Huifang Shang, Xiaofeng Zhu, Xiaoxiao Li,
- Abstract要約: 神経疾患の診断のための多モード大規模モデルの微調整過程におけるグラフプロンプトの学習による新しいプロンプト学習モデルを提案する。
具体的には、まずGPT-4を利用して、関連する疾患の概念を取得し、これらの概念とすべてのパッチのセマンティックな類似性を計算する。
第2に、各パッチと疾患関連概念のセマンティックな類似性に応じて、無関係パッチの重量を減少させる。
- 参考スコア（独自算出の注目度）: 31.21351373001379
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prompt learning has demonstrated impressive efficacy in the fine-tuning of multimodal large models to a wide range of downstream tasks. Nonetheless, applying existing prompt learning methods for the diagnosis of neurological disorder still suffers from two issues: (i) existing methods typically treat all patches equally, despite the fact that only a small number of patches in neuroimaging are relevant to the disease, and (ii) they ignore the structural information inherent in the brain connection network which is crucial for understanding and diagnosing neurological disorders. To tackle these issues, we introduce a novel prompt learning model by learning graph prompts during the fine-tuning process of multimodal large models for diagnosing neurological disorders. Specifically, we first leverage GPT-4 to obtain relevant disease concepts and compute semantic similarity between these concepts and all patches. Secondly, we reduce the weight of irrelevant patches according to the semantic similarity between each patch and disease-related concepts. Moreover, we construct a graph among tokens based on these concepts and employ a graph convolutional network layer to extract the structural information of the graph, which is used to prompt the pre-trained multimodal large models for diagnosing neurological disorders. Extensive experiments demonstrate that our method achieves superior performance for neurological disorder diagnosis compared with state-of-the-art methods and validated by clinicians.
- Abstract（参考訳）: プロンプト学習は、広範囲の下流タスクに対するマルチモーダル大モデルの微調整において顕著な効果を示した。
それでも、神経疾患の診断に既存の素早い学習法を適用することは、以下の2つの課題に悩まされている。
(i)既存の方法では、神経イメージングにおいて少数のパッチだけが疾患と関連しているにもかかわらず、すべてのパッチを平等に扱うのが一般的である。
(II)神経疾患の理解と診断に不可欠である脳接続ネットワークに固有の構造情報を無視する。
これらの課題に対処するために、我々は、神経疾患の診断のための多モード大規模モデルの微調整過程において、グラフプロンプトを学習することで、新しいプロンプト学習モデルを導入する。
具体的には、まずGPT-4を利用して、関連する疾患の概念を取得し、これらの概念とすべてのパッチのセマンティックな類似性を計算する。
第2に、各パッチと疾患関連概念のセマンティックな類似性に応じて、無関係パッチの重量を減少させる。
さらに、これらの概念に基づいてトークン間でグラフを構築し、グラフ畳み込みネットワーク層を用いてグラフの構造情報を抽出する。
以上の結果より, 神経疾患の診断において, 最先端の診断法と比較して, 臨床医が評価し, 優れた評価が得られたことが示唆された。
関連論文リスト
- Multi-modal Dynamic Graph Network: Coupling Structural and Functional
Connectome for Disease Diagnosis and Classification [8.67028273829113]
構造的および機能的脳ネットワーク学習のためのマルチモーダル動的グラフ畳み込みネットワーク(MDGCN)を提案する。
本手法は,モーダル間表現のモデル化と動的グラフへの注意的多モデル関連付けの利点を生かした。
論文 参考訳（メタデータ） (2022-10-25T02:41:32Z) - NeuralSympCheck: A Symptom Checking and Disease Diagnostic Neural Model
with Logic Regularization [59.15047491202254]
症状検査システムは、患者に症状を問い合わせ、迅速で手頃な価格の医療評価を行う。
本稿では,論理正則化を用いたニューラルネットワークの教師付き学習に基づく新しい手法を提案する。
以上の結果から,本手法は診断回数や症状が大きい場合の診断精度において,最も優れた方法であることがわかった。
論文 参考訳（メタデータ） (2022-06-02T07:57:17Z) - A Prior Guided Adversarial Representation Learning and Hypergraph
Perceptual Network for Predicting Abnormal Connections of Alzheimer's Disease [29.30199956567813]
アルツハイマー病は、脳の構造的および機能的接続の変化によって特徴づけられる。
PGARL-HPNは、三重モードの医療画像を用いて異常な脳の接続を予測する。
論文 参考訳（メタデータ） (2021-10-12T03:10:37Z) - Multimodal Representations Learning and Adversarial Hypergraph Fusion
for Early Alzheimer's Disease Prediction [30.99183477161096]
本稿では,アルツハイマー病診断のための新しい表現学習と逆向きハイパーグラフ融合フレームワークを提案する。
本モデルは、他の関連モデルと比較して、アルツハイマー病の検出において優れた性能を発揮する。
論文 参考訳（メタデータ） (2021-07-21T08:08:05Z) - Applications of Epileptic Seizures Detection in Neuroimaging Modalities
Using Deep Learning Techniques: Methods, Challenges, and Future Works [12.393282115173387]
てんかん発作は、世界中の多くの人々に影響を及ぼす神経疾患の一種である。
専門医や神経学者は、様々な種類のてんかん発作を診断するために、構造的および機能的な神経画像モダリティを利用する。
てんかん発作の正確かつ迅速な診断を早める1つの方法は、人工知能(AI)と機能的および構造的ニューロイメージングモダリティに基づくコンピュータ支援診断システム(CADS)を採用することである。
論文 参考訳（メタデータ） (2021-05-29T12:00:39Z) - Inheritance-guided Hierarchical Assignment for Clinical Automatic
Diagnosis [50.15205065710629]
臨床診断は、臨床ノートに基づいて患者に診断符号を割り当てることを目的としており、臨床意思決定において重要な役割を担っている。
本稿では,臨床自動診断のための継承誘導階層と共起グラフの伝播を組み合わせた新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-01-27T13:16:51Z) - Multimodal Gait Recognition for Neurodegenerative Diseases [38.06704951209703]
3つの神経変性疾患の歩容差を学習するための新しいハイブリッドモデルを提案する。
新しい相関メモリニューラルネットワークアーキテクチャは、時間的特徴を抽出するために設計されている。
いくつかの最先端技術と比較して,提案手法はより正確な分類結果を示す。
論文 参考訳（メタデータ） (2021-01-07T10:17:11Z) - Graph-Evolving Meta-Learning for Low-Resource Medical Dialogue
Generation [150.52617238140868]
ソース疾患からターゲット疾患へ診断経験を移すために、低リソースの医療対話生成を提案します。
また,新しい疾患の症状相関を推論するためのコモンセンスグラフの進化を学習するグラフ進化メタラーニングフレームワークを開発した。
論文 参考訳（メタデータ） (2020-12-22T13:20:23Z) - A Graph Gaussian Embedding Method for Predicting Alzheimer's Disease
Progression with MEG Brain Networks [59.15734147867412]
アルツハイマー病(AD)に関連する機能的脳ネットワークの微妙な変化を特徴付けることは、疾患進行の早期診断と予測に重要である。
我々は、多重グラフガウス埋め込みモデル(MG2G)と呼ばれる新しいディープラーニング手法を開発した。
我々はMG2Gを用いて、MEG脳ネットワークの内在性潜在性次元を検出し、軽度認知障害(MCI)患者のADへの進行を予測し、MCIに関連するネットワーク変化を伴う脳領域を同定した。
論文 参考訳（メタデータ） (2020-05-08T02:29:24Z) - Dynamic Graph Correlation Learning for Disease Diagnosis with Incomplete
Labels [66.57101219176275]
胸部X線画像上の疾患診断は,多ラベル分類の課題である。
本稿では,異なる疾患間の相互依存を調査する新たな視点を提示する病的診断グラフ畳み込みネットワーク(DD-GCN)を提案する。
本手法は,相関学習のための動的隣接行列を用いた特徴写像上のグラフを初めて構築する手法である。
論文 参考訳（メタデータ） (2020-02-26T17:10:48Z) - Learning Dynamic and Personalized Comorbidity Networks from Event Data
using Deep Diffusion Processes [102.02672176520382]
コンコルビンド病は、個人によって異なる複雑な時間的パターンを通じて発生し進行する。
電子的な健康記録では、患者が持つ異なる疾患を観察できるが、それぞれの共死状態の時間的関係を推測できるだけである。
我々は「ダイナミック・コオービディティ・ネットワーク」をモデル化するための深層拡散プロセスを開発する。
論文 参考訳（メタデータ） (2020-01-08T15:47:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。