論文の概要: Fusion of medical imaging and electronic health records with attention
and multi-head machanisms
- arxiv url: http://arxiv.org/abs/2112.11710v1
- Date: Wed, 22 Dec 2021 07:39:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-23 15:26:49.220442
- Title: Fusion of medical imaging and electronic health records with attention
and multi-head machanisms
- Title(参考訳): 医療画像と電子健康記録の融合 : 注意とマルチヘッド・マカリズム
- Authors: Cheng Jiang, Yihao Chen, Jianbo Chang, Ming Feng, Renzhi Wang, Jianhua
Yao
- Abstract要約: 本稿では,画像特徴抽出過程における重要な領域の選択を支援するために,EHRデータを用いたマルチモーダルアテンションモジュールを提案する。
また,マルチヘッドマクニズムをゲート型マルチモーダルユニット(GMU)に組み込むことにより,異なる部分空間における画像とEHR機能を並列に融合させることも提案する。
脳内出血患者のGOS(Glasgow outcome scale)の予測とアルツハイマー病の分類実験により,提案手法はタスク関連領域に自動的に焦点を絞ることができることが示された。
- 参考スコア(独自算出の注目度): 4.433829714749366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Doctors often make diagonostic decisions based on patient's image scans, such
as magnetic resonance imaging (MRI), and patient's electronic health records
(EHR) such as age, gender, blood pressure and so on. Despite a lot of automatic
methods have been proposed for either image or text analysis in computer vision
or natural language research areas, much fewer studies have been developed for
the fusion of medical image and EHR data for medical problems. Among existing
early or intermediate fusion methods, concatenation of features from both
modalities is still a mainstream. For a better exploiting of image and EHR
data, we propose a multi-modal attention module which use EHR data to help the
selection of important regions during image feature extraction process
conducted by traditional CNN. Moreover, we propose to incorporate multi-head
machnism to gated multimodal unit (GMU) to make it able to parallelly fuse
image and EHR features in different subspaces. With the help of the two
modules, existing CNN architecture can be enhanced using both modalities.
Experiments on predicting Glasgow outcome scale (GOS) of intracerebral
hemorrhage patients and classifying Alzheimer's Disease showed the proposed
method can automatically focus on task-related areas and achieve better results
by making better use of image and EHR features.
- Abstract(参考訳): 医師は、MRI(MRI)などの患者の画像スキャンや、年齢、性別、血圧などの患者の電子健康記録(EHR)に基づいて、対角的意思決定を行うことが多い。
コンピュータビジョンや自然言語研究分野では画像分析やテキスト解析に多くの自動手法が提案されているが、医学的な画像とEHRデータの融合に関する研究はほとんど行われていない。
既存の早期または中期の融合法の中で、両方のモダリティからの特徴の連結は依然として主流である。
画像とEHRデータをよりよく活用するために,従来のCNNによる画像特徴抽出プロセスにおいて重要な領域の選択を支援するために,EHRデータを用いたマルチモーダルアテンションモジュールを提案する。
さらに,マルチヘッドマクニズムをゲート型マルチモーダルユニット(GMU)に組み込むことにより,異なる部分空間における画像とEHR機能を並列に融合できるようにする。
2つのモジュールの助けを借りて、既存のcnnアーキテクチャは両方のモードを使って拡張できる。
脳内出血患者のGOS(Glasgow outcome scale)の予測とアルツハイマー病の分類実験により,提案手法はタスク関連領域に自動的に焦点を合わせ,画像やERHの特徴をよりよく活用することにより,より良い結果が得られることが示された。
関連論文リスト
- Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - Three-Dimensional Medical Image Fusion with Deformable Cross-Attention [10.26573411162757]
マルチモーダル医療画像融合は、医療画像処理のいくつかの領域において重要な役割を担っている。
従来の融合法は、特徴を組み合わせて融合像を再構成する前に、それぞれのモダリティを独立して処理する傾向にある。
本研究では,これらの制限を是正するために設計された,革新的な教師なしの相互学習融合ネットワークを提案する。
論文 参考訳(メタデータ) (2023-10-10T04:10:56Z) - Diffusion Models for Counterfactual Generation and Anomaly Detection in
Brain Images [59.85702949046042]
病気の画像の健全なバージョンを生成し,それを用いて画素単位の異常マップを得るための弱教師付き手法を提案する。
健常者を対象にした拡散モデルを用いて, サンプリングプロセスの各ステップで拡散拡散確率モデル (DDPM) と拡散拡散確率モデル (DDIM) を組み合わせる。
本手法が正常なサンプルに適用された場合,入力画像は大幅な修正を伴わずに再構成されることを確認した。
論文 参考訳(メタデータ) (2023-08-03T21:56:50Z) - Multi-modal Graph Neural Network for Early Diagnosis of Alzheimer's
Disease from sMRI and PET Scans [11.420077093805382]
我々は,非ユークリッド領域の問題に対処するためのグラフニューラルネットワーク(GNN)を提案する。
本研究では,sMRIやPET画像から脳ネットワークを生成可能であることを示す。
次に、各モーダルが独自のGNNの分岐を持つマルチモーダルGNNフレームワークを提案し、その多モーダルデータを組み合わせる手法を提案する。
論文 参考訳(メタデータ) (2023-07-31T02:04:05Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Multimodal Pathology Image Search Between H&E Slides and Multiplexed
Immunofluorescent Images [0.0]
本稿では,変分オートエンコーダ (VAE) 潜時空間上の動的時間ワープ (DTW) を用いたマルチモーダル画像検索手法を提案する。
VAEのトレーニングとDTWの適用を通じて、mIFとH&Eのスライドを調整および比較する。
本手法は, 形態学的H&EデータとmIFの免疫フェノタイピングを併用することにより, 鑑別診断と治療決定を改善する。
論文 参考訳(メタデータ) (2023-06-11T21:30:20Z) - Case Studies on X-Ray Imaging, MRI and Nuclear Imaging [0.0]
我々は、AIベースのアプローチ、特にCNN(Convolutional Neural Networks)の使用が、医療画像技術による疾患検出にどのように役立つかに焦点を当てる。
CNNは、生の入力画像から特徴を抽出できるため、画像解析の一般的な手法である。
論文 参考訳(メタデータ) (2023-06-03T09:05:35Z) - Uncertainty-Aware Multi-Parametric Magnetic Resonance Image Information
Fusion for 3D Object Segmentation [12.361668672097753]
拡張された3次元画像セグメンテーションのための情報を完全に活用するために,不確実性を考慮したマルチパラメトリックMR画像特徴融合法を提案する。
提案手法は,既存モデルと比較してセグメンテーション性能が向上する。
論文 参考訳(メタデータ) (2022-11-16T09:16:52Z) - AlignTransformer: Hierarchical Alignment of Visual Regions and Disease
Tags for Medical Report Generation [50.21065317817769]
本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。
パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
論文 参考訳(メタデータ) (2022-03-18T13:43:53Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z) - Universal Model for Multi-Domain Medical Image Retrieval [88.67940265012638]
医用画像検索(MIR)は、医師が類似した患者のデータを素早く見つけるのに役立つ。
MIRはデジタル画像モダリティの多用により、ますます役に立ちつつある。
しかし、病院における様々なデジタル画像モダリティの人気もまた、MIRにいくつかの課題をもたらしている。
論文 参考訳(メタデータ) (2020-07-14T23:22:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。