論文の概要: MindLLM: A Subject-Agnostic and Versatile Model for fMRI-to-Text Decoding

• arxiv url: http://arxiv.org/abs/2502.15786v1
• Date: Tue, 18 Feb 2025 03:27:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:56:19.215158
• Title: MindLLM: A Subject-Agnostic and Versatile Model for fMRI-to-Text Decoding
• Title（参考訳）: MindLLM:fMRI-to-Text復号のための主観的・可読的モデル
• Authors: Weikang Qiu, Zheng Huang, Haoyu Hu, Aosong Feng, Yujun Yan, Rex Ying,
• Abstract要約: 機能的磁気共鳴画像(fMRI)信号をテキストに復号することは神経科学において重要な課題である。 我々は、主観的かつ汎用的なfMRI-to-textデコーディングのためのモデルであるMindLLMを提案する。 本稿では,fMRI信号から多種多様な意味表現を捉える能力を高める新しい手法であるBrain Instruction Tuning(BIT)を紹介する。
• 参考スコア（独自算出の注目度）: 15.264864090398374
• License:
• Abstract: Decoding functional magnetic resonance imaging (fMRI) signals into text has been a key challenge in the neuroscience community, with the potential to advance brain-computer interfaces and uncover deeper insights into brain mechanisms. However, existing approaches often struggle with suboptimal predictive performance, limited task variety, and poor generalization across subjects. In response to this, we propose MindLLM, a model designed for subject-agnostic and versatile fMRI-to-text decoding. MindLLM consists of an fMRI encoder and an off-the-shelf LLM. The fMRI encoder employs a neuroscience-informed attention mechanism, which is capable of accommodating subjects with varying input shapes and thus achieves high-performance subject-agnostic decoding. Moreover, we introduce Brain Instruction Tuning (BIT), a novel approach that enhances the model's ability to capture diverse semantic representations from fMRI signals, facilitating more versatile decoding. We evaluate MindLLM on comprehensive fMRI-to-text benchmarks. Results demonstrate that our model outperforms the baselines, improving downstream tasks by 12.0%, unseen subject generalization by 16.4%, and novel task adaptation by 25.0%. Furthermore, the attention patterns in MindLLM provide interpretable insights into its decision-making process.
• Abstract（参考訳）: 機能的磁気共鳴画像(fMRI)信号をテキストにデコードすることは、神経科学のコミュニティにとって重要な課題であり、脳とコンピュータのインターフェースを進化させ、脳のメカニズムに関する深い洞察を明らかにする可能性がある。 しかし、既存のアプローチは、最適以下の予測性能、タスクの多様性の制限、主題間の一般化の低さに悩まされることが多い。 そこで本研究では,主観的かつ汎用的なfMRI-to-textデコーディングのためのモデルであるMindLLMを提案する。 MindLLMはfMRIエンコーダと既製のLLMで構成されている。 fMRIエンコーダは、入力形状の異なる被写体を収容できる神経科学インフォームドアテンション機構を採用し、高性能な被写体非依存復号を実現する。 さらに、fMRI信号から多様な意味表現を捕捉し、より汎用的な復号化を容易にする新しいアプローチであるBrain Instruction Tuning(BIT)を導入する。 総合的なfMRI-to-textベンチマークでMindLLMを評価する。 その結果,本モデルはベースラインよりも優れ,下流タスクが12.0%向上し,対象一般化が16.4%向上し,新しいタスク適応が25.0%向上した。 さらに、MindLLMの注意パターンは、意思決定プロセスに関する解釈可能な洞察を提供する。

関連論文リスト

• MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data [64.92867794764247]
  MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。 脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。 脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
  論文  参考訳（メタデータ） (2025-02-07T16:01:59Z)
• UniBrain: A Unified Model for Cross-Subject Brain Decoding [22.49964298783508]
  被験者固有のパラメータを必要としない統一脳復号モデルUniBrainを提案する。 提案手法は, 可変fMRI信号長を扱うグループベース抽出器, クロスオブジェクトの共通点を捕捉する相互支援組込み器, 被写体不変特徴を抽出するバイレベル特徴アライメント方式を含む。 我々は、UniBrainを脳復号ベンチマークで検証し、パラメータが極端に少ない現在の最先端の主題特化モデルに匹敵する性能を実現した。
  論文  参考訳（メタデータ） (2024-12-27T07:03:47Z)
• BrainMAE: A Region-aware Self-supervised Learning Framework for Brain Signals [11.030708270737964]
  本稿では,fMRI時系列データから直接表現を学習するBrain Masked Auto-Encoder(BrainMAE)を提案する。 BrainMAEは、4つの異なる下流タスクにおいて、確立されたベースラインメソッドをかなりのマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2024-06-24T19:16:24Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• UniBrain: Universal Brain MRI Diagnosis with Hierarchical Knowledge-enhanced Pre-training [66.16134293168535]
  我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。 具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
  論文  参考訳（メタデータ） (2023-09-13T09:22:49Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。