論文の概要: Linguistic properties and model scale in brain encoding: from small to compressed language models

• arxiv url: http://arxiv.org/abs/2602.07547v1
• Date: Sat, 07 Feb 2026 13:48:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.684952
• Title: Linguistic properties and model scale in brain encoding: from small to compressed language models
• Title（参考訳）: 脳の符号化における言語特性とモデルスケール--小から圧縮された言語モデルから
• Authors: Subba Reddy Oota, Vijay Rowtula, Satya Sai Srinath Namburi, Khushbu Pahwa, Anant Khandelwal, Manish Gupta, Tanmoy Chakraborty, Bapi S. Raju,
• Abstract要約: 近年の研究では、大規模言語モデル(LLM)のスケーリングは、人間の脳活動との整合性を改善することが示されている。 脳関連表現を捉えるのに必要な最小限のモデル容量は何か? モデルスケールと数値精度の制約が脳のアライメントに与える影響について検討する。
• 参考スコア（独自算出の注目度）: 39.040386424307165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that scaling large language models (LLMs) improves their alignment with human brain activity, yet it remains unclear what drives these gains and which representational properties are responsible. Although larger models often yield better task performance and brain alignment, they are increasingly difficult to analyze mechanistically. This raises a fundamental question: what is the minimal model capacity required to capture brain-relevant representations? To address this question, we systematically investigate how constraining model scale and numerical precision affects brain alignment. We compare full-precision LLMs, small language models (SLMs), and compressed variants (quantized and pruned) by predicting fMRI responses during naturalistic language comprehension. Across model families up to 14B parameters, we find that 3B SLMs achieve brain predictivity indistinguishable from larger LLMs, whereas 1B models degrade substantially, particularly in semantic language regions. Brain alignment is remarkably robust to compression: most quantization and pruning methods preserve neural predictivity, with GPTQ as a consistent exception. Linguistic probing reveals a dissociation between task performance and brain predictivity: compression degrades discourse, syntax, and morphology, yet brain predictivity remains largely unchanged. Overall, brain alignment saturates at modest model scales and is resilient to compression, challenging common assumptions about neural scaling and motivating compact models for brain-aligned language modeling.
• Abstract（参考訳）: 近年の研究では、大規模言語モデル(LLM)のスケーリングが人間の脳活動との整合性を改善することが示されているが、どのような要因や表現特性が原因なのかは明らかになっていない。 より大きなモデルは、しばしばより良いタスクパフォーマンスと脳のアライメントをもたらすが、機械的に分析することはますます困難になっている。 脳関連表現を捉えるのに必要な最小限のモデル容量は何か? この問題に対処するために、モデルスケールと数値精度の制約が脳のアライメントにどのように影響するかを体系的に検討する。 自然言語理解におけるfMRI応答の予測により,完全精度LLM,小言語モデル(SLM),圧縮された変種(量子化・切断)を比較した。 モデルファミリの最大14Bパラメータにわたって、3B SLMは大きなLLMと区別できない脳の予測性を実現しているのに対し、1Bモデルは特にセマンティック言語領域において著しく劣化している。 ほとんどの量子化法とプルーニング法は、GPTQを一貫した例外として、神経予測性を保っている。 圧縮は談話、構文、形態を劣化させるが、脳の予測性はほとんど変化しない。 全体として、脳のアライメントは、控えめなモデルスケールで飽和し、圧縮に回復し、ニューラルスケーリングに関する一般的な仮定に挑戦し、脳に整合した言語モデリングのためのコンパクトなモデルを動機付ける。

関連論文リスト

• Abstraction Induces the Brain Alignment of Language and Speech Models [4.102097905864135]
  音声モデルと言語モデルと脳との対応は、共通の意味抽象化から導かれることを示す。 本研究は,fMRIとECoG信号がいかにうまく説明できるかを,層内次元が強く予測することを示す。
  論文  参考訳（メタデータ） (2026-02-03T23:35:29Z)
• Generative causal testing to bridge data-driven models and scientific theories in language neuroscience [82.995061475971]
  脳における言語選択性の簡潔な説明を生成するためのフレームワークである生成因果テスト(GCT)を提案する。 GCTは機能的選択性に類似した脳領域の細粒度の違いを識別できることを示す。
  論文  参考訳（メタデータ） (2024-10-01T15:57:48Z)
• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• fMRI predictors based on language models of increasing complexity recover brain left lateralization [4.1618731507412505]
  脳の相関の左右差は、パラメータ数によるスケーリング則に従っていることを示す。 この発見は、大きな言語モデルを用いた脳活動の計算的解析と、言語に対する左半球優位を示す失語患者からの古典的な観察を照合する。
  論文  参考訳（メタデータ） (2024-05-28T09:24:52Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Scaling laws for language encoding models in fMRI [47.498241053872924]
  我々は、fMRIを用いて記録された脳の反応を予測するために、より大きなオープンソースモデルの方が優れているかどうかを検証した。 同様の対数行動は、fMRIトレーニングセットのサイズを拡大する際に観察された。 これらの結果は、脳内の言語処理の極めて効果的なモデルが得られることを示唆している。
  論文  参考訳（メタデータ） (2023-05-19T17:53:03Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。