論文の概要: MultiCrossViT: Multimodal Vision Transformer for Schizophrenia
Prediction using Structural MRI and Functional Network Connectivity Data
- arxiv url: http://arxiv.org/abs/2211.06726v1
- Date: Sat, 12 Nov 2022 19:07:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 18:17:02.575275
- Title: MultiCrossViT: Multimodal Vision Transformer for Schizophrenia
Prediction using Structural MRI and Functional Network Connectivity Data
- Title（参考訳）: MultiCrossViT:構造MRIと機能的ネットワーク接続データを用いた統合失調症予測用マルチモーダル視覚変換器
- Authors: Yuda Bi, Anees Abrol, Zening Fu, Vince Calhoun
- Abstract要約: Vision Transformer (ViT)は、現実世界のコンピュータビジョン問題に対処できる先駆的なディープラーニングフレームワークである。
ViTは畳み込みニューラルネットワーク(CNN)のような従来のディープラーニングモデルを上回ることが証明されている
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision Transformer (ViT) is a pioneering deep learning framework that can
address real-world computer vision issues, such as image classification and
object recognition. Importantly, ViTs are proven to outperform traditional deep
learning models, such as convolutional neural networks (CNNs). Relatively
recently, a number of ViT mutations have been transplanted into the field of
medical imaging, thereby resolving a variety of critical classification and
segmentation challenges, especially in terms of brain imaging data. In this
work, we provide a novel multimodal deep learning pipeline, MultiCrossViT,
which is capable of analyzing both structural MRI (sMRI) and static functional
network connectivity (sFNC) data for the prediction of schizophrenia disease.
On a dataset with minimal training subjects, our novel model can achieve an AUC
of 0.832. Finally, we visualize multiple brain regions and covariance patterns
most relevant to schizophrenia based on the resulting ViT attention maps by
extracting features from transformer encoders.
- Abstract（参考訳）: Vision Transformer (ViT)は、画像分類やオブジェクト認識といった現実のコンピュータビジョン問題に対処できる、先駆的なディープラーニングフレームワークである。
重要なのは、ViTが畳み込みニューラルネットワーク(CNN)のような従来のディープラーニングモデルを上回ることが証明されていることだ。
最近になって、多くのViT変異が医療画像の分野に移植され、特に脳画像データにおいて、様々な重要な分類とセグメンテーションの課題が解決された。
本研究では,統合失調症予測のための構造的MRI(sMRI)と静的機能的ネットワーク接続(sFNC)データの両方を解析できるマルチモーダル深層学習パイプラインであるMultiCrossViTを提案する。
最小限のトレーニング対象を持つデータセットでは、新しいモデルは0.832のAUCを達成できる。
最後に, 統合失調症に関連する複数の脳領域と共分散パターンを, トランスフォーマーエンコーダの特徴を抽出することにより可視化する。
関連論文リスト
- TBConvL-Net: A Hybrid Deep Learning Architecture for Robust Medical Image Segmentation [6.013821375459473]
医用画像セグメンテーションのための新しいディープラーニングアーキテクチャを提案する。
提案モデルでは,10の公開データセット上でのテクニックの現状に対して,一貫した改善が示されている。
論文 参考訳（メタデータ） (2024-09-05T09:14:03Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI [32.40827290083577]
機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。
従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。
本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。
トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
論文 参考訳（メタデータ） (2024-03-11T01:18:49Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳（メタデータ） (2024-02-27T06:32:56Z) - Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2024-01-05T19:45:12Z) - Enhancing CT Image synthesis from multi-modal MRI data based on a
multi-task neural network framework [16.864720020158906]
拡張型Transformer U-Netアーキテクチャに基づく多目的マルチタスクニューラルネットワークフレームワークを提案する。
我々はCT画像を個別のサブタスクに分解する従来の問題を分解する。
マルチモーダルデータを扱う際のフレームワークの汎用性を高めるため,複数の画像チャネルでモデルを拡張した。
論文 参考訳（メタデータ） (2023-12-13T18:22:38Z) - Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。
本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。
実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2023-10-22T02:27:02Z) - Convolutional neural network based on sparse graph attention mechanism
for MRI super-resolution [0.34410212782758043]
深層学習技術を用いた医用画像超解像(SR)再構成は、病変解析を強化し、診断効率と精度を向上させるために医師を支援する。
既存のディープラーニングベースのSR手法は、これらのモデルの表現能力を本質的に制限する畳み込みニューラルネットワーク(CNN)に依存している。
画像特徴抽出に複数の畳み込み演算子特徴抽出モジュール(MCO)を用いるAネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T06:14:22Z) - Data-Efficient Vision Transformers for Multi-Label Disease
Classification on Chest Radiographs [55.78588835407174]
視覚変換器(ViT)は一般的な画像の分類性能が高いにもかかわらず、このタスクには適用されていない。
ViTは、畳み込みではなくパッチベースの自己アテンションに依存しており、CNNとは対照的に、ローカル接続に関する事前の知識は存在しない。
以上の結果から,ViTとCNNのパフォーマンスはViTの利点に匹敵するものの,DeiTsはトレーニング用に適度に大規模なデータセットが利用可能であれば,前者よりも優れることがわかった。
論文 参考訳（メタデータ） (2022-08-17T09:07:45Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳（メタデータ） (2022-05-06T03:45:36Z) - ResViT: Residual vision transformers for multi-modal medical image
synthesis [0.0]
本稿では、畳み込み演算子の局所的精度と視覚変換器の文脈的感度を組み合わせ、医用画像合成のための新しい生成逆変換手法ResViTを提案する。
以上の結果から,ResViTと競合する手法の質的観察と定量化の両面での優位性が示唆された。
論文 参考訳（メタデータ） (2021-06-30T12:57:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。