論文の概要: NT-ViT: Neural Transcoding Vision Transformers for EEG-to-fMRI Synthesis
- arxiv url: http://arxiv.org/abs/2409.11836v1
- Date: Wed, 18 Sep 2024 09:38:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 18:23:34.784515
- Title: NT-ViT: Neural Transcoding Vision Transformers for EEG-to-fMRI Synthesis
- Title（参考訳）: NT-ViT:脳波からfMRI合成のためのニューラルトランスコーディングビジョン変換器
- Authors: Romeo Lanzino, Federico Fontana, Luigi Cinque, Francesco Scarcello, Atsuto Maki,
- Abstract要約: 本稿ではニューラルトランスビジョントランス(モデル名)を紹介する。
モデル名(英: modelname)は、脳波同時計測(EEG)データから高分解能機能型磁気共鳴イメージング(fMRI)サンプルを推定するために設計された生成モデルである。
- 参考スコア（独自算出の注目度）: 7.542742087154667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces the Neural Transcoding Vision Transformer (\modelname), a generative model designed to estimate high-resolution functional Magnetic Resonance Imaging (fMRI) samples from simultaneous Electroencephalography (EEG) data. A key feature of \modelname is its Domain Matching (DM) sub-module which effectively aligns the latent EEG representations with those of fMRI volumes, enhancing the model's accuracy and reliability. Unlike previous methods that tend to struggle with fidelity and reproducibility of images, \modelname addresses these challenges by ensuring methodological integrity and higher-quality reconstructions which we showcase through extensive evaluation on two benchmark datasets; \modelname outperforms the current state-of-the-art by a significant margin in both cases, e.g. achieving a $10\times$ reduction in RMSE and a $3.14\times$ increase in SSIM on the Oddball dataset. An ablation study also provides insights into the contribution of each component to the model's overall effectiveness. This development is critical in offering a new approach to lessen the time and financial constraints typically linked with high-resolution brain imaging, thereby aiding in the swift and precise diagnosis of neurological disorders. Although it is not a replacement for actual fMRI but rather a step towards making such imaging more accessible, we believe that it represents a pivotal advancement in clinical practice and neuroscience research. Code is available at \url{https://github.com/rom42pla/ntvit}.
- Abstract（参考訳）: 本稿では,脳波同時計測(EEG)データから高分解能機能型磁気共鳴イメージング(fMRI)サンプルを推定するための生成モデルであるニューラルトランスコーディングビジョントランスフォーマ(\modelname)を提案する。
ドメインマッチング(DM)サブモジュールは、潜在するEEG表現とfMRIボリュームの表現を効果的に整合させ、モデルの精度と信頼性を高める。
画像の忠実さと再現性に苦しむ従来の方法とは異なり、 \modelnameは2つのベンチマークデータセットで広く評価することで、方法論的整合性と高品質な再構築を保証することでこれらの課題に対処する。
アブレーション調査はまた、モデル全体の有効性に対する各コンポーネントの貢献に関する洞察を提供する。
この開発は、一般的に高解像度の脳画像と結びつく時間と金銭的制約を減らし、神経疾患の迅速かつ正確な診断を支援する新しいアプローチを提供する上で重要である。
これは実際のfMRIの代替ではなく、そのような画像をよりアクセスしやすいものにするための一歩であるが、臨床および神経科学研究における重要な進歩であると考えている。
コードは \url{https://github.com/rom42pla/ntvit} で入手できる。
関連論文リスト
- A Unified Model for Compressed Sensing MRI Across Undersampling Patterns [69.19631302047569]
ディープニューラルネットワークは、アンダーサンプル計測から高忠実度画像を再構成する大きな可能性を示している。
我々のモデルは、離散化に依存しないアーキテクチャであるニューラル演算子に基づいている。
我々の推論速度は拡散法よりも1,400倍速い。
論文 参考訳（メタデータ） (2024-10-05T20:03:57Z) - Unveiling Incomplete Modality Brain Tumor Segmentation: Leveraging Masked Predicted Auto-Encoder and Divergence Learning [6.44069573245889]
脳腫瘍のセグメンテーションは、特にマルチモーダルMRI(Multi-modal magnetic resonance imaging)における重要な課題である。
本稿では,不完全なモダリティデータから頑健な特徴学習を可能にする,マスク付き予測事前学習方式を提案する。
微調整段階において、我々は知識蒸留技術を用いて、完全なモダリティデータと欠落したモダリティデータの間に特徴を整列させ、同時にモデルロバスト性を向上する。
論文 参考訳（メタデータ） (2024-06-12T20:35:16Z) - SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion
Classification Using 3D Multi-Phase Imaging [59.78761085714715]
本研究は肝病変分類のための新しいSDR-Formerフレームワークを提案する。
提案フレームワークは2つの臨床データセットに関する総合的な実験を通じて検証された。
科学コミュニティを支援するため,肝病変解析のための多段階MRデータセットを公開しています。
論文 参考訳（メタデータ） (2024-02-27T06:32:56Z) - A Compact Implicit Neural Representation for Efficient Storage of
Massive 4D Functional Magnetic Resonance Imaging [14.493622422645053]
fMRI圧縮は、複雑な時間的ダイナミクス、低信号-雑音比、複雑な基礎的冗長性のために、ユニークな課題を生んでいる。
Inlicit Neural Representation (INR)に基づくfMRIデータに適した新しい圧縮パラダイムについて報告する。
論文 参考訳（メタデータ） (2023-11-30T05:54:37Z) - Leveraging sinusoidal representation networks to predict fMRI signals
from EEG [3.3121941932506473]
本稿では,マルチチャネル脳波から直接fMRI信号を予測できる新しいアーキテクチャを提案する。
本モデルは,脳波の周波数情報を学習するための正弦波表現ネットワーク(SIREN)を実装して実現している。
我々は,脳波-fMRI同時データセットを8被験者で評価し,脳皮質下 fMRI 信号の予測の可能性について検討した。
論文 参考訳（メタデータ） (2023-11-06T03:16:18Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳（メタデータ） (2023-11-01T07:24:22Z) - On Sensitivity and Robustness of Normalization Schemes to Input
Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。
DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。
本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文 参考訳（メタデータ） (2023-06-23T03:09:03Z) - Multiscale Metamorphic VAE for 3D Brain MRI Synthesis [5.060516201839319]
3次元脳MRIの創発的モデリングは、データ分布の十分なカバレッジを確保しつつ、高い視覚的忠実度を達成することの難しさを示す。
本研究では, この課題に対して, 可変オートエンコーダフレームワークにおける構成可能なマルチスケール形態素変換を用いて対処することを提案する。
VAEやGAN(Generative Adversarial Network)をベースとした先行作業と比較して,FIDの性能は,同等あるいは優れた再現品質を維持しつつ,大幅に向上した。
論文 参考訳（メタデータ） (2023-01-09T09:15:30Z) - Model-Guided Multi-Contrast Deep Unfolding Network for MRI
Super-resolution Reconstruction [68.80715727288514]
MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。
本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
論文 参考訳（メタデータ） (2022-09-15T03:58:30Z) - MIST GAN: Modality Imputation Using Style Transfer for MRI [0.49172272348627766]
我々は既存のMRモードから欠落したMRモダリティを,スタイル転送を用いた計算問題として定式化する。
複数対1のマッピングにより、ターゲット画像を生成する際に、ドメイン固有のスタイルに対応するネットワークをモデル化する。
われわれのモデルはBraTS'18データセットでテストされ、その結果はビジュアルメトリクスの点で最先端のものと同等である。
論文 参考訳（メタデータ） (2022-02-21T17:50:40Z) - Lesion Mask-based Simultaneous Synthesis of Anatomic and MolecularMR
Images using a GAN [59.60954255038335]
提案するフレームワークは,ストレッチアウトアップサンプリングモジュール,ブレインアトラスエンコーダ,セグメンテーション一貫性モジュール,マルチスケールラベルワイド識別器から構成される。
実際の臨床データを用いた実験により,提案モデルが最先端の合成法よりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-26T02:50:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。