論文の概要: Multimodal and multicontrast image fusion via deep generative models
- arxiv url: http://arxiv.org/abs/2303.15963v1
- Date: Tue, 28 Mar 2023 13:31:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 15:09:21.455568
- Title: Multimodal and multicontrast image fusion via deep generative models
- Title（参考訳）: 深部生成モデルによるマルチモーダル・マルチコントラスト画像融合
- Authors: Giovanna Maria Dimitri, Simeon Spasov, Andrea Duggento, Luca
Passamonti, Pietro Li`o, Nicola Toschi
- Abstract要約: 本稿では,モジュール型アプローチと分離可能な畳み込みブロックに根ざした生成モデルに基づく深層学習アーキテクチャを提案する。
これは、病気の進化を予測し、薬の反応を予測し、機械的な理解と臨床試験の強化を支援するのに役立つかもしれない。
- 参考スコア（独自算出の注目度）: 0.220200533591633
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, it has become progressively more evident that classic diagnostic
labels are unable to reliably describe the complexity and variability of
several clinical phenotypes. This is particularly true for a broad range of
neuropsychiatric illnesses (e.g., depression, anxiety disorders, behavioral
phenotypes). Patient heterogeneity can be better described by grouping
individuals into novel categories based on empirically derived sections of
intersecting continua that span across and beyond traditional categorical
borders. In this context, neuroimaging data carry a wealth of spatiotemporally
resolved information about each patient's brain. However, they are usually
heavily collapsed a priori through procedures which are not learned as part of
model training, and consequently not optimized for the downstream prediction
task. This is because every individual participant usually comes with multiple
whole-brain 3D imaging modalities often accompanied by a deep genotypic and
phenotypic characterization, hence posing formidable computational challenges.
In this paper we design a deep learning architecture based on generative models
rooted in a modular approach and separable convolutional blocks to a) fuse
multiple 3D neuroimaging modalities on a voxel-wise level, b) convert them into
informative latent embeddings through heavy dimensionality reduction, c)
maintain good generalizability and minimal information loss. As proof of
concept, we test our architecture on the well characterized Human Connectome
Project database demonstrating that our latent embeddings can be clustered into
easily separable subject strata which, in turn, map to different phenotypical
information which was not included in the embedding creation process. This may
be of aid in predicting disease evolution as well as drug response, hence
supporting mechanistic disease understanding and empowering clinical trials.
- Abstract（参考訳）: 近年,古典的診断ラベルが,いくつかの臨床表現型の複雑さや多様性を確実に記述できないことが次第に明らかになっている。
これは、幅広い神経精神医学疾患(うつ病、不安障害、行動表現型など)に対して特に当てはまる。
患者の不均一性は、伝統的なカテゴリー境界を越えて広がる横断性連続体の経験的に派生したセクションに基づいて、個人を新しいカテゴリに分類することでより良く説明できる。
この文脈では、神経画像データは各患者の脳に関する時空間的に解決された豊富な情報を運ぶ。
しかしながら、通常は、モデルトレーニングの一部としては学習されず、結果として下流予測タスクに最適化されない手順を通じて、優先度が大幅に崩れる。
これは、通常、各被験者は複数の脳の3D画像モダリティを伴い、しばしば深い遺伝子型と表現型の特徴が伴うため、重大な計算課題が生じるためである。
本稿では,モジュラーアプローチと分離可能な畳み込みブロックに根ざした生成モデルに基づくディープラーニングアーキテクチャを設計する。
a) ボクセルレベルで複数の3次元神経画像のモダリティを融合させる
b) 重次元の縮小により情報を潜伏埋め込みに変換すること。
c) 良好な一般化性と情報損失を最小限に抑えること。
概念実証として, 優れた特徴を持つHuman Connectome Projectデータベース上でアーキテクチャを検証し, 潜伏埋め込みが容易に分離可能な対象層にクラスタ化され, 組込み生成プロセスに含まれない表現型情報にマップされることを示した。
これは、疾患の進化と薬物反応を予測する助けとなり、したがって機械的疾患の理解と臨床試験の強化を支援する。
関連論文リスト
- Deep Latent Variable Modeling of Physiological Signals [0.8702432681310401]
潜時変動モデルを用いた生理モニタリングに関する高次元問題について検討する。
まず、光学的に得られた信号を入力として、心の電気波形を生成するための新しい状態空間モデルを提案する。
次に,確率的グラフィカルモデルの強みと深い敵対学習を組み合わせた脳信号モデリング手法を提案する。
第3に,生理的尺度と行動の合同モデリングのための枠組みを提案する。
論文 参考訳（メタデータ） (2024-05-29T17:07:33Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - Seeing Unseen: Discover Novel Biomedical Concepts via
Geometry-Constrained Probabilistic Modeling [53.7117640028211]
同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。
構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。
スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
論文 参考訳（メタデータ） (2024-03-02T00:56:05Z) - Robust and Interpretable Medical Image Classifiers via Concept
Bottleneck Models [49.95603725998561]
本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。
具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
論文 参考訳（メタデータ） (2023-10-04T21:57:09Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳（メタデータ） (2023-05-25T16:29:16Z) - Improving Deep Facial Phenotyping for Ultra-rare Disorder Verification
Using Model Ensembles [52.77024349608834]
我々は、DCNNを最先端の顔認識手法であるiResNetとArcFaceに置き換える影響を分析する。
提案するアンサンブルモデルにより,目視と目視の両障害に対する最先端のパフォーマンスが達成される。
論文 参考訳（メタデータ） (2022-11-12T23:28:54Z) - Self-supervised multimodal neuroimaging yields predictive
representations for a spectrum of Alzheimer's phenotypes [27.331511924585023]
この研究は、マルチモーダル・ニューロイメージングデータから複数の表現を学習するための、新しいマルチスケール協調フレームワークを提案する。
本稿では,情報誘導バイアスの一般的な分類法を提案する。
自己教師型モデルでは,事前トレーニング中にラベルにアクセスすることなく,障害関連脳領域とマルチモーダルリンクを明らかにする。
論文 参考訳（メタデータ） (2022-09-07T01:37:19Z) - Deep Structural Causal Shape Models [21.591869329812283]
因果推論(Causal reasoning)は、重要な介入や反現実的な疑問を問う言語を提供する。
医用画像では,遺伝的要因,環境要因,ライフスタイル要因の因果効果について検討する。
形態的変動に関する因果推論を可能にするための計算ツールが不足している。
論文 参考訳（メタデータ） (2022-08-23T13:18:20Z) - Multimodal Representations Learning and Adversarial Hypergraph Fusion
for Early Alzheimer's Disease Prediction [30.99183477161096]
本稿では,アルツハイマー病診断のための新しい表現学習と逆向きハイパーグラフ融合フレームワークを提案する。
本モデルは、他の関連モデルと比較して、アルツハイマー病の検出において優れた性能を発揮する。
論文 参考訳（メタデータ） (2021-07-21T08:08:05Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳（メタデータ） (2020-06-11T17:29:53Z) - Towards a predictive spatio-temporal representation of brain data [0.2580765958706854]
fMRIデータセットは複雑でヘテロジニアスな時系列で構成されていることを示す。
深層学習と幾何学的深層学習の様々なモデリング手法を比較し,今後の研究の道を開く。
私たちは、私たちの方法論の進歩が最終的に、健康と病気の脳のダイナミクスをより微妙に理解することで、臨床的および計算学的に関連があることを期待しています。
論文 参考訳（メタデータ） (2020-02-29T18:49:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。