論文の概要: Revolutionizing Disease Diagnosis with simultaneous functional PET/MR and Deeply Integrated Brain Metabolic, Hemodynamic, and Perfusion Networks
- arxiv url: http://arxiv.org/abs/2403.20058v2
- Date: Sat, 14 Sep 2024 04:18:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 02:35:35.527083
- Title: Revolutionizing Disease Diagnosis with simultaneous functional PET/MR and Deeply Integrated Brain Metabolic, Hemodynamic, and Perfusion Networks
- Title（参考訳）: PET/MRと深部脳代謝・血行動態・灌流ネットワークを併用した再生性疾患診断
- Authors: Luoyu Wang, Yitian Tao, Qing Yang, Yan Liang, Siwei Liu, Hongcheng Shi, Dinggang Shen, Han Zhang,
- Abstract要約: マルチモーダルなMiXture-of-expertsアライメント再構成とモデルであるMX-ARMを提案する。
モダリティは分離可能で交換可能であり、異なる多層パーセプトロン(「専門家の混合」)を学習可能な重みを通して動的に割り当て、異なるモダリティからそれぞれの表現を学ぶ。
- 参考スコア（独自算出の注目度）: 40.986069119392944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Simultaneous functional PET/MR (sf-PET/MR) presents a cutting-edge multimodal neuroimaging technique. It provides an unprecedented opportunity for concurrently monitoring and integrating multifaceted brain networks built by spatiotemporally covaried metabolic activity, neural activity, and cerebral blood flow (perfusion). Albeit high scientific/clinical values, short in hardware accessibility of PET/MR hinders its applications, let alone modern AI-based PET/MR fusion models. Our objective is to develop a clinically feasible AI-based disease diagnosis model trained on comprehensive sf-PET/MR data with the power of, during inferencing, allowing single modality input (e.g., PET only) as well as enforcing multimodal-based accuracy. To this end, we propose MX-ARM, a multimodal MiXture-of-experts Alignment and Reconstruction Model. It is modality detachable and exchangeable, allocating different multi-layer perceptrons dynamically ("mixture of experts") through learnable weights to learn respective representations from different modalities. Such design will not sacrifice model performance in uni-modal situation. To fully exploit the inherent complex and nonlinear relation among modalities while producing fine-grained representations for uni-modal inference, we subsequently add a modal alignment module to line up a dominant modality (e.g., PET) with representations of auxiliary modalities (MR). We further adopt multimodal reconstruction to promote the quality of learned features. Experiments on precious multimodal sf-PET/MR data for Mild Cognitive Impairment diagnosis showcase the efficacy of our model toward clinically feasible precision medicine.
- Abstract（参考訳）: 同時機能PET/MR(sf-PET/MR)は、最先端のマルチモーダル・ニューロイメージング技術を示す。
これは、時空間的に共有された代謝活性、神経活動、脳血流(灌流)によって構築された多面脳ネットワークを同時に監視し統合する前例のない機会を提供する。
PET/MRのハードウェアアクセシビリティが不足しているにもかかわらず、科学的/臨床的な価値は、現代のAIベースのPET/MR融合モデルだけでなく、その応用を妨げる。
本研究の目的は, 単調入力(例, PETのみ)を可能とし, マルチモーダルベース精度を向上すると共に, インジェクション中の総合的なsf-PET/MRデータに基づいて訓練された, 臨床的に実現可能なAIベースの疾患診断モデルを開発することである。
そこで本研究では,マルチモーダルなMiXture-of-expertsアライメント・コンストラクションモデルであるMX-ARMを提案する。
モダリティは分離可能で交換可能であり、異なる多層パーセプトロン(「専門家の混合」)を学習可能な重みを通して動的に割り当て、異なるモダリティからそれぞれの表現を学ぶ。
このような設計は、ユニモーダルな状況下でのモデルパフォーマンスを犠牲にしません。
一様性推論の微細な表現を生成しながら、モダリティの固有の複素および非線形関係を完全に活用するために、その後、補助モダリティ(MR)の表現に支配的なモダリティ(eg, PET)をラインアップするモダリティアライメントモジュールを追加する。
また,学習特徴の質を高めるため,マルチモーダルな再構築も実施している。
軽度認知障害診断のための貴重なマルチモーダルsf-PET/MRデータを用いた実験は,本モデルが臨床的に実現可能な精度医療に有効であることを示す。
関連論文リスト
- Multi-modal Evidential Fusion Network for Trusted PET/CT Tumor Segmentation [5.839660501978193]
PET画像とCT画像の画質は臨床環境で大きく変化しており、ネットワークによって抽出されたモダリティ情報の不確実性につながっている。
本稿では,クロスモーダル・フィーチャーラーニング(CFL)モジュールとマルチモーダル・トラスト・フュージョン(MTF)モジュールからなる新しいマルチモーダル・エビデンシャル・フュージョン・ネットワーク(MEFN)を提案する。
本モデルでは, 自動セグメンテーション結果の受け入れや拒絶の判断において, セグメンテーション結果の確実な不確実性を, 放射線技師に提供することができる。
論文 参考訳（メタデータ） (2024-06-26T13:14:24Z) - PASTA: Pathology-Aware MRI to PET Cross-Modal Translation with Diffusion Models [7.6672160690646445]
本研究では,条件付き拡散モデルに基づく新しい画像翻訳フレームワークであるPASTAを紹介する。
サイクル交換一貫性とボリューム生成戦略は、高品質な3DPETスキャンを生成するPASTAの能力を高める。
アルツハイマー分類では、合成スキャンの性能はMRIよりも4%向上し、実際のPETの性能にほぼ達する。
論文 参考訳（メタデータ） (2024-05-27T08:33:24Z) - Functional Imaging Constrained Diffusion for Brain PET Synthesis from Structural MRI [5.190302448685122]
新しい制約拡散モデル (CDM) を用いて, 入力条件として2組構造MRIを用いた3次元脳PET画像合成のためのフレームワークを提案する。
FICDはPETにノイズを導入し、CDMで徐々に除去する。
CDMは、各denoized PETと基底真理との間のボクセルワイドアライメントを確保するために、機能的イメージング制約を導入して、denoized PETを予測することを学ぶ。
論文 参考訳（メタデータ） (2024-05-03T22:33:46Z) - Physical formula enhanced multi-task learning for pharmacokinetics prediction [54.13787789006417]
AIによる薬物発見の大きな課題は、高品質なデータの不足である。
薬物動態の4つの重要なパラメータを同時に予測するPEMAL法を開発した。
実験の結果,PEMALは一般的なグラフニューラルネットワークに比べてデータ需要を著しく低減することがわかった。
論文 参考訳（メタデータ） (2024-04-16T07:42:55Z) - MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳（メタデータ） (2024-04-13T13:39:26Z) - Joint Diffusion: Mutual Consistency-Driven Diffusion Model for PET-MRI Co-Reconstruction [19.790873500057355]
この研究は、MRIを加速し、PET画像の品質を向上させることを目的としている。
従来のアプローチでは、PET-MRIシステム内の各モードを別々に再構成する。
相互整合駆動拡散モード(MC-Diffusion)を用いた新しいPET-MRI関節再建モデルを提案する。
論文 参考訳（メタデータ） (2023-11-24T13:26:53Z) - Contrastive Diffusion Model with Auxiliary Guidance for Coarse-to-Fine
PET Reconstruction [62.29541106695824]
本稿では, 粗い予測モジュール (CPM) と反復的修正モジュール (IRM) から構成される粗大なPET再構成フレームワークを提案する。
計算オーバーヘッドの大部分をCPMに委譲することで,本手法のサンプリング速度を大幅に向上させることができる。
2つの追加戦略、すなわち補助的な誘導戦略と対照的な拡散戦略が提案され、再構築プロセスに統合される。
論文 参考訳（メタデータ） (2023-08-20T04:10:36Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳（メタデータ） (2023-05-25T16:29:16Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳（メタデータ） (2022-08-17T12:36:26Z) - Synthesizing Multi-Tracer PET Images for Alzheimer's Disease Patients
using a 3D Unified Anatomy-aware Cyclic Adversarial Network [9.406405460188818]
ポジトロン・エミッション・トモグラフィー(PET)はアルツハイマー病(AD)研究の重要なツールである
医用画像合成の研究は1対1の固定ドメイン翻訳に重点を置いており、マルチトレースドメインから同時にその特徴を学習することはできない。
本稿では,複数経路PETボリュームを1つの統一的生成モデルで翻訳するための3次元統一解剖・循環対向ネットワーク (UCAN) を提案する。
論文 参考訳（メタデータ） (2021-07-12T15:10:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。