論文の概要: Brain-tuning Improves Generalizability and Efficiency of Brain Alignment in Speech Models

• arxiv url: http://arxiv.org/abs/2510.21520v1
• Date: Fri, 24 Oct 2025 14:42:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.509107
• Title: Brain-tuning Improves Generalizability and Efficiency of Brain Alignment in Speech Models
• Title（参考訳）: 音声モデルにおけるブレインチューニングによる脳アライメントの一般化性と効率の改善
• Authors: Omer Moussa, Mariya Toneva,
• Abstract要約: 複数の参加者からのfMRI応答を協調的に予測するために,事前学習した言語モデルを微調整する。 提案手法は,1)新しい参加者からの脳データ予測に必要なfMRIデータの量は5倍に減少し,2)脳全体のアライメントは50%増加し,3)新しい未知のデータセットへの強力な一般化をもたらす。
• 参考スコア（独自算出の注目度）: 9.911908326274581
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained language models are remarkably effective in aligning with human brain responses elicited by natural language stimuli, positioning them as promising model organisms for studying language processing in the brain. However, existing approaches for both estimating and improving this brain alignment are participant-dependent and highly affected by the amount of data available per participant, hindering both generalization to new participants and population-level analyses. In this work, we address these limitations by introducing a scalable, generalizable brain-tuning method, in which we fine-tune pretrained speech language models to jointly predict fMRI responses from multiple participants. We demonstrate that the resulting brain-tuned models exhibit strong individual brain alignment while generalizing across participants. Specifically, our method leads to 1) a 5-fold decrease in the amount of fMRI data needed to predict brain data from new participants, 2) up to a 50% increase in the overall brain alignment, and 3) strong generalization to new unseen datasets. Furthermore, this multi-participant brain-tuning additionally improves downstream performance on semantic tasks, suggesting that training using brain data from multiple participants leads to more generalizable semantic representations. Taken together, these findings demonstrate a bidirectional benefit between neuroscience and AI, helping bridge the gap between the two fields. We make our code and models publicly available at https://github.com/bridge-ai-neuro/multi-brain-tuning.
• Abstract（参考訳）: 事前訓練された言語モデルは、自然言語刺激によって引き起こされる人間の脳の反応に合わせるのに極めて効果的であり、それらを脳内の言語処理を研究するための有望なモデル生物として位置づけている。 しかし、この脳のアライメントを推定および改善するための既存のアプローチは、参加者1人当たりのデータ量に影響され、新しい参加者への一般化と人口レベルの分析の両方を妨げる。 本研究では,複数の参加者からのfMRI応答を協調的に予測するために,事前学習した言語モデルを微調整する,スケーラブルで一般化可能なブレインチューニング手法を導入することで,これらの制約に対処する。 結果,脳チューニングモデルでは,参加者を対象とし,個々の脳のアライメントが強いことが実証された。 特に我々の方法は 1)新しい参加者の脳データを予測するのに必要なfMRIデータの量は5倍に減少する。 2) 脳全体のアライメントが50%増加し, 3)新しい未知のデータセットへの強力な一般化。 さらに、このマルチ参加者脳チューニングにより、セマンティックタスクのダウンストリームパフォーマンスが向上し、複数の参加者からの脳データを用いたトレーニングがより一般化可能なセマンティック表現をもたらすことが示唆された。 これらの知見を総合すると、神経科学とAIの双方向的な利点が示され、2つの分野のギャップを埋める助けとなる。 コードとモデルはhttps://github.com/bridge-ai-neuro/multi-brain-tuning.comで公開しています。

関連論文リスト

• MindAligner: Explicit Brain Functional Alignment for Cross-Subject Visual Decoding from Limited fMRI Data [64.92867794764247]
  MindAlignerは、限られたfMRIデータからのクロスオブジェクト脳デコーディングのためのフレームワークである。 脳伝達マトリックス(BTM)は、任意の新しい被験者の脳信号を既知の被験者の1人に投射する。 脳機能アライメントモジュールは、異なる視覚刺激下で軟質なクロスオブジェクト脳アライメントを実行するために提案されている。
  論文  参考訳（メタデータ） (2025-02-07T16:01:59Z)
• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Improving Semantic Understanding in Speech Language Models via Brain-tuning [19.732593005537606]
  言語モデルは、人間の脳の自然言語に対する反応と驚くほど一致している。 現在のモデルは低レベルの音声機能に大きく依存しており、脳関連セマンティクスが欠如していることを示している。 我々は、fMRI記録による微調整により、脳関連バイアスを直接モデルに誘導することで、この制限に対処する。
  論文  参考訳（メタデータ） (2024-10-11T20:06:21Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Aligning brain functions boosts the decoding of visual semantics in novel subjects [3.226564454654026]
  脳の反応をビデオや静止画像に合わせることで脳の復号化を促進することを提案する。 提案手法はオブジェクト外デコード性能を最大75%向上させる。 また、テスト対象者に対して100分未満のデータが得られる場合、古典的な単一オブジェクトアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-12-11T15:55:20Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。