論文の概要: A Low-Rank Space Captures Linear Alignment Between LLM and Human Neural Activity During Naturalistic Language Listening

• arxiv url: http://arxiv.org/abs/2610.40511v1
• Date: Thu, 29 Oct 2026 17:23:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:55:27.824231
• Title: A Low-Rank Space Captures Linear Alignment Between LLM and Human Neural Activity During Naturalistic Language Listening
• Title（参考訳）: 自然言語聴取におけるLLMと人間の神経活動の線形アライメント
• Abstract要約: 大規模言語モデル (LLM) は、人間の言語処理の計算モデルとしてますます使われている。 それらの表現のどの成分が神経活動と一致しているかは、まだ不明である。 ここでは、LLM表現の脳予測部分空間を特定するために、リッジ低減ランク回帰を用いる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used as computational models of human language processing, yet it remains unclear which components of their representations drive alignment with neural activity. Here, we use ridge reduced-rank regression to identify the brain-predictive subspace of LLM representations: the representational directions that support linear prediction of neural responses. Across three naturalistic language-listening datasets spanning intracranial electrophysiology and fMRI, and six model conditions spanning autoregressive, bidirectional masked, and randomly initialized language models, we find that full linear encoding performance can be recovered using only 1-3% of the original embedding dimensionality. These low-dimensional subspaces generalize across held-out participants and, to a lesser extent, across datasets, suggesting that neural predictivity is concentrated in a compact and partially shared representational space. We next compare these brain-predictive directions with the principal axes of variation in the embeddings. Principal component analysis requires substantially more dimensions to recover neural prediction, demonstrating that the directions most useful for predicting neural activity are distinct from those capturing the most overall variance within LLM representations themselves. Finally, characterizing the learned subspaces allows us to surface interpretable features that are overrepresented in neural activity above and beyond the LLM representations. Together, these results show that LLM-brain alignment is supported by a small, structured subset of model representations and provides a framework for better understanding exactly why these representations align. Code can be found at: https://github.com/thefinnlab/low-rank-alignment
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の言語処理の計算モデルとしてますます使われてきているが、その表現のどのコンポーネントが神経活動と整合を駆動しているのかは定かではない。 そこで我々は,LLM表現の脳予測部分空間,すなわちニューラル応答の線形予測を支援する表現方向を特定するために,リッジ低減ランク回帰を用いた。 頭蓋内電気生理学とfMRIを対象とする3つの自然言語検索データセットと, 自己回帰, 双方向マスク, ランダム初期化言語モデルにまたがる6つのモデル条件から, 元の埋め込み次元の1～3%で完全な線形符号化性能を回復できることが判明した。 これらの低次元部分空間は、保持された参加者にまたがって一般化され、より少ない範囲でデータセットにわたって一般化され、神経予測がコンパクトで部分的に共有された表現空間に集中していることが示唆される。 次に、これらの脳の予測方向を、埋め込みの変動の主軸と比較する。 主成分分析では、神経活動の予測に最も有用な方向は、LSM表現自体の中で最も全体的なばらつきを捉えている方向とは異なることを証明し、神経予測を回復するためにかなり多くの次元を必要とする。 最後に、学習した部分空間を特徴づけることで、LLM表現の上と向こうの神経活動で過剰に表現される解釈可能な特徴を表面化することができる。 これらの結果から,LLM-brainアライメントはモデル表現の小さな構造的サブセットによってサポートされ,それらの表現が協調する理由を正確に理解するためのフレームワークを提供する。 コードは、https://github.com/thefinnlab/low-rank-alignment.comで参照できる。

関連論文リスト

• Beyond representational alignment with brain-guided language models for robust reasoning [51.87370932573858]
  大規模言語モデル(LLM)は推論関連領域の神経信号と一致していることを示す。 ニューラルネットワークの予測基準を用いて,LLMは推論関連領域における説明可能な分散のかなりの部分を説明する。 我々は、モデルと脳表現の結合構造によって誘導される方向に沿って、モデル表現を操る脳誘導フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-10T10:22:49Z)
• Interpreting Brain Responses to Language with Sparse Features from Language Models [5.261667457257713]
  我々は,高密度なLM隠蔽状態を階層的に構成したオートエンコーダ機能に置き換える符号化フレームワークを開発した。 言語処理中の脳の反応は、任意のLM特徴セットからのみ予測可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-05T03:01:28Z)
• Probing Neural Topology of Large Language Models [12.298921317333452]
  本稿では,大規模言語モデルの機能的接続を明らかにするためのグラフ探索手法を提案する。 多様なLLMファミリーやスケールのモデルを探索することにより、次の予測性能の普遍的な予測可能性を見出す。 興味深いことに、トポロジーの探索は、最大130.4%のアクティベーションでの探索よりも優れている。
  論文  参考訳（メタデータ） (2025-06-01T14:57:03Z)
• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• What Are Large Language Models Mapping to in the Brain? A Case Against Over-Reliance on Brain Scores [1.8175282137722093]
  大規模言語モデル(LLM)の内部表現は最先端の脳スコアを達成し、人間の言語処理と計算原理を共有するという憶測に繋がる。 本稿では、LLM-to-Brainマッピングに関する衝撃的な研究で使用される3つのニューラルデータセットを分析し、参加者が短いパスを読み取るfMRIデータセットに特に焦点をあてる。 このデータセット上で訓練されたLLMの脳のスコアは、文の長さ、位置、代名詞による単語の埋め込みによって大きく説明できる。
  論文  参考訳（メタデータ） (2024-06-03T17:13:27Z)
• TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
  本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。 また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。