論文の概要: RTGMFF: Enhanced fMRI-based Brain Disorder Diagnosis via ROI-driven Text Generation and Multimodal Feature Fusion

• arxiv url: http://arxiv.org/abs/2509.03214v1
• Date: Wed, 03 Sep 2025 11:05:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.49303
• Title: RTGMFF: Enhanced fMRI-based Brain Disorder Diagnosis via ROI-driven Text Generation and Multimodal Feature Fusion
• Title（参考訳）: RTGMFF:ROI駆動型テキスト生成とマルチモーダル特徴融合によるfMRIによる脳障害診断
• Authors: Junhao Jia, Yifei Sun, Yunyou Liu, Cheng Yang, Changmiao Wang, Feiwei Qin, Yong Peng, Wenwen Min,
• Abstract要約: RTGMFFは自動ROIレベルのテキスト生成とマルチモーダルな特徴融合を統合化して脳障害診断を行うフレームワークである。 RTGMFFは診断精度において現在の手法を上回り、感度、特異性、およびROC曲線下における領域の顕著な向上を達成している。
• 参考スコア（独自算出の注目度）: 13.589735978929085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Functional magnetic resonance imaging (fMRI) is a powerful tool for probing brain function, yet reliable clinical diagnosis is hampered by low signal-to-noise ratios, inter-subject variability, and the limited frequency awareness of prevailing CNN- and Transformer-based models. Moreover, most fMRI datasets lack textual annotations that could contextualize regional activation and connectivity patterns. We introduce RTGMFF, a framework that unifies automatic ROI-level text generation with multimodal feature fusion for brain-disorder diagnosis. RTGMFF consists of three components: (i) ROI-driven fMRI text generation deterministically condenses each subject's activation, connectivity, age, and sex into reproducible text tokens; (ii) Hybrid frequency-spatial encoder fuses a hierarchical wavelet-mamba branch with a cross-scale Transformer encoder to capture frequency-domain structure alongside long-range spatial dependencies; and (iii) Adaptive semantic alignment module embeds the ROI token sequence and visual features in a shared space, using a regularized cosine-similarity loss to narrow the modality gap. Extensive experiments on the ADHD-200 and ABIDE benchmarks show that RTGMFF surpasses current methods in diagnostic accuracy, achieving notable gains in sensitivity, specificity, and area under the ROC curve. Code is available at https://github.com/BeistMedAI/RTGMFF.
• Abstract（参考訳）: 機能的磁気共鳴イメージング(fMRI)は、脳機能を調べる強力なツールであるが、信頼性の高い臨床診断は、低信号対雑音比、物体間変動性、CNNおよびトランスフォーマーベースのモデルに対する限られた周波数認識によって妨げられる。 さらに、ほとんどのfMRIデータセットは、局所的なアクティベーションと接続パターンをコンテキスト化できるテキストアノテーションを欠いている。 RTGMFFは自動ROIレベルのテキスト生成とマルチモーダルな特徴融合を統合化して脳障害診断を行うフレームワークである。 RTGMFFは3つのコンポーネントから構成される。 一 ROI駆動のfMRIテキスト生成は、各被験者のアクティベーション、コネクティビティ、年齢、性別を再現可能なテキストトークンに決定的に凝縮する。 (二)ハイブリッド周波数空間エンコーダは、広帯域トランスフォーマーエンコーダで階層型ウェーブレット・マンバ分岐を融合させ、長距離空間依存性とともに周波数領域構造を捕捉する。 3)適応的セマンティックアライメントモジュールはROIトークンシーケンスと視覚的特徴を共有空間に埋め込み,正規化コサイン類似性損失を用いてモダリティギャップを狭める。 ADHD-200 と ABIDE ベンチマークの大規模な実験により、RTGMFF は診断精度において現在の手法を上回り、感度、特異性、ROC 曲線下領域の顕著な増加を達成している。 コードはhttps://github.com/BeistMedAI/RTGMFFで入手できる。

関連論文リスト

• Interactive Gadolinium-Free MRI Synthesis: A Transformer with Localization Prompt Learning [6.716077690014641]
  本研究では,非コントラストMR画像からCE-MRIを合成するトランスフォーマとローカライゼーション・プロンプツのフレームワークを提案する。 本アーキテクチャでは,マルチスケール機能を処理するために効率的なトランスフォーマーを使用する階層的バックボーン,空間的注意操作と相互注意機構を通じて相互補完情報を階層的に統合する多段階融合システム,という3つの重要なイノベーションを導入している。 このフレームワークは、放射線科医が推論中に診断プロンプトを入力し、人工知能と医療の専門知識を相乗化することによって、インタラクティブな臨床統合を可能にする。
  論文  参考訳（メタデータ） (2025-03-03T07:44:28Z)
• MHSA: A Multi-scale Hypergraph Network for Mild Cognitive Impairment Detection via Synchronous and Attentive Fusion [4.526574526136158]
  同期核融合によるMCI検出のためのマルチスケールハイパーグラフネットワークを提案する。 本手法では、関心領域のスペクトル領域における位相同期関係を計算するために、位相同期値(PLV)を用いる。 PLV係数は動的に戦略を調整し,時間スペクトル融合行列に基づいて動的ハイパーグラフをモデル化する。
  論文  参考訳（メタデータ） (2024-12-11T02:59:57Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
  本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
  論文  参考訳（メタデータ） (2024-03-27T02:42:52Z)
• Unlocking Fine-Grained Details with Wavelet-based High-Frequency Enhancement in Transformers [4.208461204572879]
  医用画像のセグメンテーションは、診断、治療計画、疾患モニタリングにおいて重要な役割を担っている。 本稿では,自己注意マップを慎重に再設計することで,トランスフォーマーモデルの局所的特徴不足に対処する。 そこで本研究では,マルチスケールのコンテキスト拡張ブロックをスキップ接続内で提案し,スケール間の依存関係を適応的にモデル化する。
  論文  参考訳（メタデータ） (2023-08-25T15:42:19Z)
• Unify, Align and Refine: Multi-Level Semantic Alignment for Radiology Report Generation [48.723504098917324]
  マルチレベル・クロスモーダルアライメントを学習するためのUnify, Align, then Refine (UAR)アプローチを提案する。 本稿では,Latent Space Unifier,Cross-modal Representation Aligner,Text-to-Image Refinerの3つの新しいモジュールを紹介する。 IU-XrayおよびMIMIC-CXRベンチマークデータセットの実験と解析は、UARの様々な最先端手法に対する優位性を実証している。
  論文  参考訳（メタデータ） (2023-03-28T12:42:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。