論文の概要: MMGPL: Multimodal Medical Data Analysis with Graph Prompt Learning
- arxiv url: http://arxiv.org/abs/2312.14574v1
- Date: Fri, 22 Dec 2023 10:10:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 15:30:33.711202
- Title: MMGPL: Multimodal Medical Data Analysis with Graph Prompt Learning
- Title（参考訳）: mmgpl:グラフプロンプト学習を用いたマルチモーダル医療データ分析
- Authors: Liang Peng, Songyue Cai, Zongqian Wu, Huifang Shang, Xiaofeng Zhu, and
Xiaoxiao Li
- Abstract要約: 神経疾患の診断のための多モード大規模モデルの微調整過程におけるグラフプロンプトの学習による新しいプロンプト学習モデルを提案する。
具体的には、まずGPT-4を利用して、関連する疾患の概念を取得し、これらの概念とすべてのパッチのセマンティックな類似性を計算する。
第2に、各パッチと疾患関連概念のセマンティックな類似性に応じて、無関係パッチの重量を減少させる。
- 参考スコア（独自算出の注目度）: 31.21351373001379
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prompt learning has demonstrated impressive efficacy in the fine-tuning of
multimodal large models to a wide range of downstream tasks. Nonetheless,
applying existing prompt learning methods for the diagnosis of neurological
disorder still suffers from two issues: (i) existing methods typically treat
all patches equally, despite the fact that only a small number of patches in
neuroimaging are relevant to the disease, and (ii) they ignore the structural
information inherent in the brain connection network which is crucial for
understanding and diagnosing neurological disorders. To tackle these issues, we
introduce a novel prompt learning model by learning graph prompts during the
fine-tuning process of multimodal large models for diagnosing neurological
disorders. Specifically, we first leverage GPT-4 to obtain relevant disease
concepts and compute semantic similarity between these concepts and all
patches. Secondly, we reduce the weight of irrelevant patches according to the
semantic similarity between each patch and disease-related concepts. Moreover,
we construct a graph among tokens based on these concepts and employ a graph
convolutional network layer to extract the structural information of the graph,
which is used to prompt the pre-trained multimodal large models for diagnosing
neurological disorders. Extensive experiments demonstrate that our method
achieves superior performance for neurological disorder diagnosis compared with
state-of-the-art methods and validated by clinicians.
- Abstract（参考訳）: プロンプト学習は、広範囲の下流タスクに対するマルチモーダル大モデルの微調整において顕著な効果を示した。
それにもかかわらず、神経障害の診断に既存の即興学習法を適用することには、2つの問題がある。
(i)既存の方法では、神経イメージングにおいて少数のパッチだけが疾患に関連するにもかかわらず、すべてのパッチを平等に扱うのが一般的である。
(ii)神経障害の理解と診断に不可欠である脳接続ネットワークに内在する構造情報を無視する。
そこで本研究では,神経疾患の診断のためのマルチモーダル大規模モデルの微調整過程において,グラフプロンプトを学習することで,新しいプロンプト学習モデルを提案する。
具体的には、まずgpt-4を用いて関連する疾患概念を取得し、これらの概念とすべてのパッチ間の意味的類似性を計算する。
第2に,各パッチと疾患関連概念間の意味的類似性に応じて,無関係パッチの重みを低減させる。
さらに,これらの概念に基づいてトークン間のグラフを構築し,グラフ畳み込みネットワーク層を用いてグラフの構造情報を抽出する。
広範にわたる実験により,神経疾患の診断において,最先端の方法と比較して優れた成績が得られ,臨床医が検証した。
関連論文リスト
- Multi-modal Dynamic Graph Network: Coupling Structural and Functional
Connectome for Disease Diagnosis and Classification [8.67028273829113]
構造的および機能的脳ネットワーク学習のためのマルチモーダル動的グラフ畳み込みネットワーク(MDGCN)を提案する。
本手法は,モーダル間表現のモデル化と動的グラフへの注意的多モデル関連付けの利点を生かした。
論文 参考訳（メタデータ） (2022-10-25T02:41:32Z) - NeuralSympCheck: A Symptom Checking and Disease Diagnostic Neural Model
with Logic Regularization [59.15047491202254]
症状検査システムは、患者に症状を問い合わせ、迅速で手頃な価格の医療評価を行う。
本稿では,論理正則化を用いたニューラルネットワークの教師付き学習に基づく新しい手法を提案する。
以上の結果から,本手法は診断回数や症状が大きい場合の診断精度において,最も優れた方法であることがわかった。
論文 参考訳（メタデータ） (2022-06-02T07:57:17Z) - A Prior Guided Adversarial Representation Learning and Hypergraph
Perceptual Network for Predicting Abnormal Connections of Alzheimer's Disease [29.30199956567813]
アルツハイマー病は、脳の構造的および機能的接続の変化によって特徴づけられる。
PGARL-HPNは、三重モードの医療画像を用いて異常な脳の接続を予測する。
論文 参考訳（メタデータ） (2021-10-12T03:10:37Z) - Multimodal Representations Learning and Adversarial Hypergraph Fusion
for Early Alzheimer's Disease Prediction [30.99183477161096]
本稿では,アルツハイマー病診断のための新しい表現学習と逆向きハイパーグラフ融合フレームワークを提案する。
本モデルは、他の関連モデルと比較して、アルツハイマー病の検出において優れた性能を発揮する。
論文 参考訳（メタデータ） (2021-07-21T08:08:05Z) - Applications of Epileptic Seizures Detection in Neuroimaging Modalities
Using Deep Learning Techniques: Methods, Challenges, and Future Works [12.393282115173387]
てんかん発作は、世界中の多くの人々に影響を及ぼす神経疾患の一種である。
専門医や神経学者は、様々な種類のてんかん発作を診断するために、構造的および機能的な神経画像モダリティを利用する。
てんかん発作の正確かつ迅速な診断を早める1つの方法は、人工知能(AI)と機能的および構造的ニューロイメージングモダリティに基づくコンピュータ支援診断システム(CADS)を採用することである。
論文 参考訳（メタデータ） (2021-05-29T12:00:39Z) - Inheritance-guided Hierarchical Assignment for Clinical Automatic
Diagnosis [50.15205065710629]
臨床診断は、臨床ノートに基づいて患者に診断符号を割り当てることを目的としており、臨床意思決定において重要な役割を担っている。
本稿では,臨床自動診断のための継承誘導階層と共起グラフの伝播を組み合わせた新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-01-27T13:16:51Z) - Multimodal Gait Recognition for Neurodegenerative Diseases [38.06704951209703]
3つの神経変性疾患の歩容差を学習するための新しいハイブリッドモデルを提案する。
新しい相関メモリニューラルネットワークアーキテクチャは、時間的特徴を抽出するために設計されている。
いくつかの最先端技術と比較して,提案手法はより正確な分類結果を示す。
論文 参考訳（メタデータ） (2021-01-07T10:17:11Z) - Graph-Evolving Meta-Learning for Low-Resource Medical Dialogue
Generation [150.52617238140868]
ソース疾患からターゲット疾患へ診断経験を移すために、低リソースの医療対話生成を提案します。
また,新しい疾患の症状相関を推論するためのコモンセンスグラフの進化を学習するグラフ進化メタラーニングフレームワークを開発した。
論文 参考訳（メタデータ） (2020-12-22T13:20:23Z) - A Graph Gaussian Embedding Method for Predicting Alzheimer's Disease
Progression with MEG Brain Networks [59.15734147867412]
アルツハイマー病(AD)に関連する機能的脳ネットワークの微妙な変化を特徴付けることは、疾患進行の早期診断と予測に重要である。
我々は、多重グラフガウス埋め込みモデル(MG2G)と呼ばれる新しいディープラーニング手法を開発した。
我々はMG2Gを用いて、MEG脳ネットワークの内在性潜在性次元を検出し、軽度認知障害(MCI)患者のADへの進行を予測し、MCIに関連するネットワーク変化を伴う脳領域を同定した。
論文 参考訳（メタデータ） (2020-05-08T02:29:24Z) - Dynamic Graph Correlation Learning for Disease Diagnosis with Incomplete
Labels [66.57101219176275]
胸部X線画像上の疾患診断は,多ラベル分類の課題である。
本稿では,異なる疾患間の相互依存を調査する新たな視点を提示する病的診断グラフ畳み込みネットワーク(DD-GCN)を提案する。
本手法は,相関学習のための動的隣接行列を用いた特徴写像上のグラフを初めて構築する手法である。
論文 参考訳（メタデータ） (2020-02-26T17:10:48Z) - Learning Dynamic and Personalized Comorbidity Networks from Event Data
using Deep Diffusion Processes [102.02672176520382]
コンコルビンド病は、個人によって異なる複雑な時間的パターンを通じて発生し進行する。
電子的な健康記録では、患者が持つ異なる疾患を観察できるが、それぞれの共死状態の時間的関係を推測できるだけである。
我々は「ダイナミック・コオービディティ・ネットワーク」をモデル化するための深層拡散プロセスを開発する。
論文 参考訳（メタデータ） (2020-01-08T15:47:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。