論文の概要: Encoding EEG Signals to Examine Human-Like Next-Word Prediction Behaviour in Language Models
- arxiv url: http://arxiv.org/abs/2607.16549v1
- Date: Fri, 17 Jul 2026 23:11:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.179821
- Title: Encoding EEG Signals to Examine Human-Like Next-Word Prediction Behaviour in Language Models
- Title（参考訳）: 言語モデルを用いた脳波信号の符号化
- Abstract要約: 脳波(EEG)を用いたミリ秒分解能における次の単語予測可能性の脳反応への影響
我々は、事象関連電位(ERP)を予測するために、トップ1予測とサブプライムを含む2つの情報測度に基づいて、人間とLMの両方の回帰器を生成する。
以上の結果から,言語処理ERP,特にセマンティックな内容のオープンクラス語では,副次的のみに関連があることが示唆された。
- 参考スコア（独自算出の注目度）: 3.1487162256026573
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language models (LMs) are trained to excel at predicting the next word in the sequence given prior context, and humans also share this predictability in reading comprehension. Neuroscience research reveals that next-word predictability influences brain response, as recorded at millisecond resolution using electroencephalography (EEG). While our evidence indicates that advanced LMs achieve accuracies closely aligned with human performance at the next-word prediction task, this raises the question: Does higher prediction accuracy necessarily mean that these models adequately capture the cognitive signals associated with human reading comprehension? Here, we generate regressors for both humans and LMs based on two information measures, including top-1 prediction and surprisal, to predict event-related potential (ERP) elicited from EEG recordings which reflect different stages of cognitive processing during reading. We argue that modelling ERP patterns offers fine-grained analysis of the cognitive plausibility of various LMs during reading. Our results indicate that only surprisal potentially correlates with language-processing ERPs, especially for open-class words with high semantic content. Moreover, our findings challenge the assumption that scaling LMs with increased parameters and computational budgets will consistently lead to improved convergence with human-like linguistic processing.
- Abstract（参考訳）: 言語モデル(LM)は、事前の文脈で与えられた順序で次の単語を予測するために訓練される。
脳波(EEG)を用いてミリ秒の解像度で記録されたように、次の単語の予測可能性が脳反応に影響を与えることが神経科学研究によって明らかにされている。
我々の証拠は、次の単語予測タスクにおいて、高度なLMが人間のパフォーマンスと密接に一致していることを示すが、これは疑問を提起する: 高い予測精度は、必ずしもこれらのモデルが人間の読解に関する認知的シグナルを適切に捉えていることを意味するのだろうか?
そこで我々は,脳波記録から得られる事象関連電位(ERP)を予測するために,トップ1予測とサブプライムを含む2つの情報測度に基づいて,ヒトとLMの両方の回帰器を生成する。
我々は,ERPパターンのモデル化が,読み上げ時の様々なLMの認知的妥当性のきめ細かな解析を可能にすることを論じる。
以上の結果から,言語処理ERP,特にセマンティックな内容のオープンクラス語では,副次的のみに関連があることが示唆された。
さらに,パラメータや計算予算の増大によるLMのスケーリングが,人間の言語処理との収束性の向上につながるという仮定に異議を唱えた。
関連論文リスト
- Probing for Reading Times [60.30314214800421]
我々は、英語、ギリシャ語、ヘブライ語、ロシア語、トルコ語における人間の読書時間を表す言語モデル表現を探索する。
その結果,初期層からの表現は,初回固定や視線持続時間などの早期通過の予測において極めて優れていた。
論文 参考訳（メタデータ） (2026-04-20T18:12:59Z) - E^2-LLM: Bridging Neural Signals and Interpretable Affective Analysis [54.763420895859035]
脳波からの感情分析のための最初のMLLMフレームワークであるELLM2-EEG-to-Emotion Large Language Modelを提案する。
ELLMは学習可能なプロジェクション層を通じて、トレーニング済みのEEGエンコーダとQベースのLLMを統合し、マルチステージのトレーニングパイプラインを使用する。
7つの感情カテゴリーにまたがるデータセット実験により, ELLM2-EEG-to-Emotion Large Language Modelは感情分類において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2026-01-11T13:21:20Z) - Spontaneous Speech Variables for Evaluating LLMs Cognitive Plausibility [0.7061230262755125]
本稿では, 音声コーパスを用いて生成変数(音声の縮小, 韻律的優位性)を導出し, 同様の方法で適用することを提案する。
次に、これらの2つの変数を予測するために、異なる事前学習データセットの標準手順でトレーニングされたモデルをテストします。
以上の結果から,いくつかの微調整の後,モデルがこれらの生産変数をベースラインよりはるかに高い精度で予測できることが示唆された。
論文 参考訳（メタデータ） (2025-05-22T06:23:02Z) - Interpretable Next-token Prediction via the Generalized Induction Head [59.500195503897764]
一般化帰納型モデル (GIM) は次点予測のための解釈可能なモデルである。
言語モデリングでは、GIMは解釈可能なベースラインに対して最大25%の速さで次世代の予測を改善する。
fMRI設定では、GIMは神経反応予測を20%改善する。
論文 参考訳（メタデータ） (2024-10-31T12:33:26Z) - Decomposition of surprisal: Unified computational model of ERP components in language processing [7.760815504640362]
脳内の人間の言語処理に関する情報理論モデルを構築し、入力された言語入力を最初は浅瀬で処理し、その後はより深く処理する。
単語の文脈における情報内容(副次的)は、(A)単語の浅い処理困難を知らせ、N400信号に対応する浅層代名詞と、(B)浅い表現と深い表現との相違を反映し、P600信号に対応する深部代名詞の2つに分解できることを示す。
論文 参考訳（メタデータ） (2024-09-10T18:14:02Z) - Language models emulate certain cognitive profiles: An investigation of how predictability measures interact with individual differences [1.942809872918085]
本研究では,人間の読取時間データに基づく言語モデル (LM) から推定した,主観的・エントロピー的測度の予測力を再考する。
本研究は,認知的スコアに対する主観的・エントロピーの調整が,読解時間の予測精度を向上させるかどうかを考察する。
本研究は,ほとんどのケースにおいて,認知能力の付加は,読書時間における主観的・エントロピーの予測能力を増加させることを示した。
論文 参考訳（メタデータ） (2024-06-07T14:54:56Z) - Humans and language models diverge when predicting repeating text [52.03471802608112]
我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。
人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。
このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
論文 参考訳（メタデータ） (2023-10-10T08:24:28Z) - Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。
本研究では,このアプローチをニューラルLMの文脈で再考する。
論文 参考訳（メタデータ） (2022-03-21T01:16:44Z) - Long-range and hierarchical language predictions in brains and
algorithms [82.81964713263483]
深層言語アルゴリズムは隣接した単語の予測に最適化されているが、人間の脳は長距離で階層的な予測を行うように調整されている。
本研究は、予測符号化理論を強化し、自然言語処理における長距離および階層的予測の重要な役割を示唆する。
論文 参考訳（メタデータ） (2021-11-28T20:26:07Z) - On the Predictive Power of Neural Language Models for Human Real-Time
Comprehension Behavior [29.260666424382446]
我々は、自然言語テキストコーパスにおいて、その次の単語の予測が人間の読書時間をどのように予測するかを、2ダース以上のモデルで検証する。
これらのモデルの特徴が、その心理測定的予測能力や、人間の読書行動を予測する能力をどのように決定するかを評価する。
任意の難易度に対して、ディープトランスフォーマーモデルとn-gramモデルはLSTMや構造的に制御されたニューラルモデルよりも優れた心理測定予測力を示す。
論文 参考訳（メタデータ） (2020-06-02T19:47:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。