論文の概要: Scaling and context steer LLMs along the same computational path as the human brain
- arxiv url: http://arxiv.org/abs/2512.01591v1
- Date: Mon, 01 Dec 2025 12:05:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.838326
- Title: Scaling and context steer LLMs along the same computational path as the human brain
- Title(参考訳): ヒト脳と同じ計算経路に沿ったスケールとコンテキストステアLSM
- Authors: Joséphine Raugel, Stéphane d'Ascoli, Jérémy Rapin, Valentin Wyart, Jean-Rémi King,
- Abstract要約: オーディオブックを10時間聴いた被験者の時間分解脳信号について検討した。
我々は,LLMと脳が同様の順序で表現を生成することを確認した。
この脳-LLMアライメントは、トランスフォーマーとリカレントアーキテクチャ間で一貫性がある。
- 参考スコア(独自算出の注目度): 6.0749974370300714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies suggest that the representations learned by large language models (LLMs) are partially aligned to those of the human brain. However, whether and why this alignment score arises from a similar sequence of computations remains elusive. In this study, we explore this question by examining temporally-resolved brain signals of participants listening to 10 hours of an audiobook. We study these neural dynamics jointly with a benchmark encompassing 22 LLMs varying in size and architecture type. Our analyses confirm that LLMs and the brain generate representations in a similar order: specifically, activations in the initial layers of LLMs tend to best align with early brain responses, while the deeper layers of LLMs tend to best align with later brain responses. This brain-LLM alignment is consistent across transformers and recurrent architectures. However, its emergence depends on both model size and context length. Overall, this study sheds light on the sequential nature of computations and the factors underlying the partial convergence between biological and artificial neural networks.
- Abstract(参考訳): 近年の研究では、大きな言語モデル(LLM)によって学習された表現は、部分的に人間の脳と一致していることが示唆されている。
しかし、このアライメントスコアが類似した計算列から生じるかどうかは、いまだ解明されていない。
本研究では,10時間のオーディオブックを聴く参加者の時間分解脳信号について検討した。
本研究では,これらのニューラルダイナミクスを,サイズやアーキテクチャの異なる22LLMのベンチマークと共同で研究する。
LLMの初期層での活性化は、初期の脳の反応と最もよく一致し、LLMの深い層は、後の脳の反応と最もよく一致する傾向にある。
この脳-LLMアライメントは、トランスフォーマーとリカレントアーキテクチャ間で一貫性がある。
しかし、その出現はモデルのサイズと文脈の長さの両方に依存する。
全体として、この研究は、計算のシーケンシャルな性質と、生物学的ニューラルネットワークと人工ニューラルネットワークの間の部分収束の根底にある要因に光を当てている。
関連論文リスト
- BrainMAP: Learning Multiple Activation Pathways in Brain Networks [77.15180533984947]
本稿では,脳ネットワークにおける複数の活性化経路を学習するための新しいフレームワークであるBrainMAPを紹介する。
本フレームワークは,タスクに関わる重要な脳領域の説明的分析を可能にする。
論文 参考訳(メタデータ) (2024-12-23T09:13:35Z) - Brain-like Functional Organization within Large Language Models [58.93629121400745]
人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた
最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。
本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。
このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
論文 参考訳(メタデータ) (2024-10-25T13:15:17Z) - Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [85.0284555835015]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。
多言語環境でのLLMの内部動作を探究する研究はほとんどない。
我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。
論文 参考訳(メタデータ) (2024-06-13T16:04:11Z) - What Are Large Language Models Mapping to in the Brain? A Case Against Over-Reliance on Brain Scores [1.8175282137722093]
大規模言語モデル(LLM)の内部表現は最先端の脳スコアを達成し、人間の言語処理と計算原理を共有するという憶測に繋がる。
本稿では、LLM-to-Brainマッピングに関する衝撃的な研究で使用される3つのニューラルデータセットを分析し、参加者が短いパスを読み取るfMRIデータセットに特に焦点をあてる。
このデータセット上で訓練されたLLMの脳のスコアは、文の長さ、位置、代名詞による単語の埋め込みによって大きく説明できる。
論文 参考訳(メタデータ) (2024-06-03T17:13:27Z) - Do Large Language Models Mirror Cognitive Language Processing? [43.68923267228057]
大規模言語モデル(LLM)は、テキスト理解と論理的推論において顕著な能力を示した。
脳認知処理信号は、典型的には人間の言語処理を研究するために使用される。
論文 参考訳(メタデータ) (2024-02-28T03:38:20Z) - Contextual Feature Extraction Hierarchies Converge in Large Language
Models and the Brain [12.92793034617015]
大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。
また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
論文 参考訳(メタデータ) (2024-01-31T08:48:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。