論文の概要: Far from the Shallow: Brain-Predictive Reasoning Embedding through Residual Disentanglement

• arxiv url: http://arxiv.org/abs/2510.22860v1
• Date: Sun, 26 Oct 2025 22:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.568189
• Title: Far from the Shallow: Brain-Predictive Reasoning Embedding through Residual Disentanglement
• Title（参考訳）: 浅部から遠ざかる:残差による脳波予測推論
• Authors: Linyang He, Tianjun Zhong, Richard Antonello, Gavin Mischler, Micah Goldblum, Nima Mesgarani,
• Abstract要約: 現代の大規模言語モデル(LLM)は、言語に対する神経反応をモデル化するためにますます使われている。 彼らの内部表現は極めて「絡み合っている」ものであり、語彙、構文、意味、推論に関する情報を混ぜている。 この絡み合いは、言語学的に浅い特徴に対する従来の脳のコード解析に偏っている。
• 参考スコア（独自算出の注目度）: 43.96899536703126
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Understanding how the human brain progresses from processing simple linguistic inputs to performing high-level reasoning is a fundamental challenge in neuroscience. While modern large language models (LLMs) are increasingly used to model neural responses to language, their internal representations are highly "entangled," mixing information about lexicon, syntax, meaning, and reasoning. This entanglement biases conventional brain encoding analyses toward linguistically shallow features (e.g., lexicon and syntax), making it difficult to isolate the neural substrates of cognitively deeper processes. Here, we introduce a residual disentanglement method that computationally isolates these components. By first probing an LM to identify feature-specific layers, our method iteratively regresses out lower-level representations to produce four nearly orthogonal embeddings for lexicon, syntax, meaning, and, critically, reasoning. We used these disentangled embeddings to model intracranial (ECoG) brain recordings from neurosurgical patients listening to natural speech. We show that: 1) This isolated reasoning embedding exhibits unique predictive power, accounting for variance in neural activity not explained by other linguistic features and even extending to the recruitment of visual regions beyond classical language areas. 2) The neural signature for reasoning is temporally distinct, peaking later (~350-400ms) than signals related to lexicon, syntax, and meaning, consistent with its position atop a processing hierarchy. 3) Standard, non-disentangled LLM embeddings can be misleading, as their predictive success is primarily attributable to linguistically shallow features, masking the more subtle contributions of deeper cognitive processing.
• Abstract（参考訳）: 単純な言語入力の処理から高いレベルの推論に至るまで、人間の脳がどのように進歩するかを理解することは、神経科学における根本的な課題である。 現代の大規模言語モデル(LLM)は、言語に対する神経反応をモデル化するためにますます使われてきているが、その内部表現は、辞書、構文、意味、推論に関する情報を混在させ、非常に「絡み合っている」。 この絡み合いは、言語的に浅い特徴(例えば、レキシコン、構文)に対する従来の脳のコード解析に偏りがあり、認知的に深いプロセスの神経基質を分離することは困難である。 本稿では,これらの成分を計算的に分離する残差分散法を提案する。 まず,特徴特化層を特定するためにLMを探索することにより,低レベルの表現を反復的に退避させ,語彙,構文,意味,批判的に4つのほぼ直交的な埋め込みを生成する。 自然音声を聴く神経外科患者の頭蓋内脳波(ECoG)をモデル化するために,これらのアンタングル埋め込みを用いた。 以下に示す。 1) この分離された推論埋め込みは,他の言語的特徴によって説明されない神経活動のばらつきを考慮し,古典的な言語領域を超えて視覚領域の採用にまで拡張する,独自の予測力を示す。 2) 推論のためのニューラルシグネチャは,レキシコン,構文,意味に関連する信号よりも後(約350～400ms)で,処理階層上の位置と一致している。 3) 言語学的に浅い特徴に起因し, より深い認知処理のより微妙な寄与を隠蔽するため, 標準的な非異方性LLM埋め込みは誤解を招く可能性がある。

関連論文リスト

• Explanations of Large Language Models Explain Language Representations in the Brain [5.7916055414970895]
  本稿では、言語処理と脳神経活動の関連性を高めるために、説明可能なAI(XAI)を用いた新しいアプローチを提案する。 帰属法を適用することで,先行する単語が予測に与える影響を定量化する。 より強い属性は、生物学的説明法を評価するために脳のアライメントを示唆している。
  論文  参考訳（メタデータ） (2025-02-20T16:05:45Z)
• What Are Large Language Models Mapping to in the Brain? A Case Against Over-Reliance on Brain Scores [1.8175282137722093]
  大規模言語モデル(LLM)の内部表現は最先端の脳スコアを達成し、人間の言語処理と計算原理を共有するという憶測に繋がる。 本稿では、LLM-to-Brainマッピングに関する衝撃的な研究で使用される3つのニューラルデータセットを分析し、参加者が短いパスを読み取るfMRIデータセットに特に焦点をあてる。 このデータセット上で訓練されたLLMの脳のスコアは、文の長さ、位置、代名詞による単語の埋め込みによって大きく説明できる。
  論文  参考訳（メタデータ） (2024-06-03T17:13:27Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。