論文の概要: Interpreting Brain Responses to Language with Sparse Features from Language Models

• arxiv url: http://arxiv.org/abs/2606.06857v1
• Date: Fri, 05 Jun 2026 03:01:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.537545
• Title: Interpreting Brain Responses to Language with Sparse Features from Language Models
• Title（参考訳）: 言語モデルからのスパース特徴を用いた言語に対する脳反応の解釈
• Authors: Michael A. Lepori, Kendrick Kay, Greta Tuckute,
• Abstract要約: 我々は,高密度なLM隠蔽状態を階層的に構成したオートエンコーダ機能に置き換える符号化フレームワークを開発した。 言語処理中の脳の反応は、任意のLM特徴セットからのみ予測可能であることを示す。
• 参考スコア（独自算出の注目度）: 5.261667457257713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central goal of cognitive neuroscience is to characterize the features that are represented by human language cortex. Artificial language models (LMs) have emerged as a powerful tool to address this challenge, but studies relating biological and artificial representations are often criticized as relating one black box to another. The present work introduces Augmented Sparse Encoding Models, an encoding framework that replaces dense LM hidden states with hierarchically-organized sparse autoencoder (SAE) features, while explicitly including surprisal as a predictor. Using this approach, we (i) produce interpretations of neural responses and (ii) test whether model-brain alignment reflects primary or idiosyncratic variation in LM representations. Using a high-field 7T fMRI dataset of eight participants listening to 200 linguistically diverse sentences, we first validate our modeling framework by recovering previous interpretations of voxel populations tuned to processing difficulty and meaning abstractness. We then interpret a previously-uncharacterized (but reliable) voxel population and find that it is tuned to people-related content. Next, we show that the fronto-temporal human language network is predicted by a common set of features across its constituent regions, but find that frontal regions are relatively well-explained by surprisal alone, even in the absence of LM-based features. Finally, we show that brain responses during language processing are not merely predictable from an arbitrary set of LM features. Rather, brain responses are best explained by the features that tend to capture the most general information encoded in LM representations, suggesting a nontrivial correspondence between brain and LM language representation.
• Abstract（参考訳）: 認知神経科学の中心的な目標は、人間の言語皮質で表される特徴を特徴づけることである。 人工言語モデル(LM)は、この課題に対処するための強力なツールとして登場したが、生物学的および人工的な表現に関する研究はしばしば、一つのブラックボックスを別のブラックボックスに関連付けるものとして批判されている。 本研究は,高密度LM隠蔽状態を階層的に整理したスパースオートエンコーダ(SAE)機能に置き換える符号化フレームワークであるAugmented Sparse Encoding Modelsを紹介する。 このアプローチを用いることで 一 神経反応の解釈を作成して、 二 モデル脳アライメントがLM表現の一次的または慣用的変動を反映するか否かを検証すること。 言語学的に多様な200の文を聴く8人の参加者による高磁場7T fMRIデータセットを用いて、まず、難易度と抽象性を処理するために調整されたボクセル集団の以前の解釈を復元し、モデリングの枠組みを検証した。 次に、前述した(しかし信頼できる)ボクセル人口を解釈し、それが人々の関連コンテンツに調整されていることを確認する。 次に、前頭側頭側言語ネットワークは、その構成領域に共通する特徴によって予測されるが、前頭側言語領域は、LMに基づく特徴が欠如していても、先頭側言語単独で比較的よく説明されている。 最後に、言語処理中の脳の反応は、任意のLM特徴セットからのみ予測可能であることを示す。 むしろ、脳の反応は、LM表現に符号化された最も一般的な情報をキャプチャする傾向にある特徴によって最もよく説明され、脳とLM言語表現の間の非自明な対応が示唆される。

関連論文リスト

• Far from the Shallow: Brain-Predictive Reasoning Embedding through Residual Disentanglement [43.96899536703126]
  現代の大規模言語モデル(LLM)は、言語に対する神経反応をモデル化するためにますます使われている。 彼らの内部表現は極めて「絡み合っている」ものであり、語彙、構文、意味、推論に関する情報を混ぜている。 この絡み合いは、言語学的に浅い特徴に対する従来の脳のコード解析に偏っている。
  論文  参考訳（メタデータ） (2025-10-26T22:46:26Z)
• The Emergence of Abstract Thought in Large Language Models Beyond Any Language [95.50197866832772]
  大規模言語モデル(LLM)は様々な言語で効果的に機能する。 予備的研究では、LLMの隠れた活性化は、英語以外のプロンプトに反応してもしばしば英語に類似している。 近年の結果は多言語のパフォーマンスが強く、他の言語での特定のタスクにおける英語のパフォーマンスを超えている。
  論文  参考訳（メタデータ） (2025-06-11T16:00:54Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• Modelling Multimodal Integration in Human Concept Processing with Vision-Language Models [7.511284868070148]
  視覚言語情報の統合が、人間の脳活動とより整合した表現に繋がるかどうかを考察する。 ヒト脳活性化予測におけるマルチモーダルモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-07-25T10:08:37Z)
• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• Exploring Spatial Schema Intuitions in Large Language and Vision Models [8.944921398608063]
  大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。 驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。 本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
  論文  参考訳（メタデータ） (2024-02-01T19:25:50Z)
• BrainLLM: Generative Language Decoding from Brain Recordings [77.66707255697706]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。