論文の概要: Abstraction Induces the Brain Alignment of Language and Speech Models

• arxiv url: http://arxiv.org/abs/2602.04081v1
• Date: Tue, 03 Feb 2026 23:35:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.310383
• Title: Abstraction Induces the Brain Alignment of Language and Speech Models
• Title（参考訳）: 抽象化は言語と音声モデルの脳のアライメントを誘導する
• Authors: Emily Cheng, Aditya R. Vaidya, Richard Antonello,
• Abstract要約: 音声モデルと言語モデルと脳との対応は、共通の意味抽象化から導かれることを示す。 本研究は,fMRIとECoG信号がいかにうまく説明できるかを,層内次元が強く予測することを示す。
• 参考スコア（独自算出の注目度）: 4.102097905864135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research has repeatedly demonstrated that intermediate hidden states extracted from large language models and speech audio models predict measured brain response to natural language stimuli. Yet, very little is known about the representation properties that enable this high prediction performance. Why is it the intermediate layers, and not the output layers, that are most effective for this unique and highly general transfer task? We give evidence that the correspondence between speech and language models and the brain derives from shared meaning abstraction and not their next-word prediction properties. In particular, models construct higher-order linguistic features in their middle layers, cued by a peak in the layerwise intrinsic dimension, a measure of feature complexity. We show that a layer's intrinsic dimension strongly predicts how well it explains fMRI and ECoG signals; that the relation between intrinsic dimension and brain predictivity arises over model pre-training; and finetuning models to better predict the brain causally increases both representations' intrinsic dimension and their semantic content. Results suggest that semantic richness, high intrinsic dimension, and brain predictivity mirror each other, and that the key driver of model-brain similarity is rich meaning abstraction of the inputs, where language modeling is a task sufficiently complex (but perhaps not the only) to require it.
• Abstract（参考訳）: 研究は、大きな言語モデルと音声モデルから抽出された中間隠れ状態が、自然言語刺激に対する測定された脳反応を予測することを繰り返し示してきた。 しかし、この高い予測性能を実現する表現特性についてはほとんど知られていない。 なぜ中間層は出力層ではなく、このユニークで汎用的な転送タスクに最も効果的であるのか? 音声と言語モデルと脳との対応性は、その次の単語予測特性ではなく、共有された意味抽象から導かれることを示す。 特に、モデルはその中層に高階言語的特徴を構築し、層状内在次元のピークによって、特徴複雑性の尺度である。 本研究では,fMRI と ECoG の信号がいかにうまく説明されるか,脳内次元と脳の予測性の関係がモデル事前学習によって生じること,脳内次元を適切に予測するための微調整モデルが表現の固有次元と意味的内容の両方を因果的に増大させることを示す。 その結果、意味豊かさ、高い内在次元、脳の予測性は相互に反映しており、モデル脳類似性の鍵となるドライバは、入力の抽象化を意味するリッチである。

関連論文リスト

• Do Large Language Models Think Like the Brain? Sentence-Level Evidence from fMRI and Hierarchical Embeddings [28.210559128941593]
  本研究では,大規模言語モデルにおける階層的表現が,人文理解時の動的神経応答とどのように一致しているかを検討する。 その結果、モデル性能の改善は、表現アーキテクチャを脳に似た階層へと進化させることを示した。
  論文  参考訳（メタデータ） (2025-05-28T16:40:06Z)
• Generative causal testing to bridge data-driven models and scientific theories in language neuroscience [82.995061475971]
  脳における言語選択性の簡潔な説明を生成するためのフレームワークである生成因果テスト(GCT)を提案する。 GCTは機能的選択性に類似した脳領域の細粒度の違いを識別できることを示す。
  論文  参考訳（メタデータ） (2024-10-01T15:57:48Z)
• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human Narrative Processing [0.0]
  これまでの研究では、言語モデルの特徴がfMRI脳活動にマッピングできることが示されている。 これは、言語モデルにおける情報処理と人間の脳の間に共通点があるのだろうか? 言語モデルにおける情報フローパターンを推定するために,異なる層間の因果関係について検討した。
  論文  参考訳（メタデータ） (2023-11-17T10:09:12Z)
• Joint processing of linguistic properties in brains and language models [14.997785690790032]
  人間の脳と言語モデルによる言語情報の詳細な処理の対応について検討する。 特定の言語特性の除去は脳のアライメントを著しく低下させる。 これらの知見は、脳と言語モデルとの整合における特定の言語情報の役割の明確な証拠である。
  論文  参考訳（メタデータ） (2022-12-15T19:13:42Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Long-range and hierarchical language predictions in brains and algorithms [82.81964713263483]
  深層言語アルゴリズムは隣接した単語の予測に最適化されているが、人間の脳は長距離で階層的な予測を行うように調整されている。 本研究は、予測符号化理論を強化し、自然言語処理における長距離および階層的予測の重要な役割を示唆する。
  論文  参考訳（メタデータ） (2021-11-28T20:26:07Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。