論文の概要: Heterogeneous Neural Predictivity from Language Models During Naturalistic Comprehension
- arxiv url: http://arxiv.org/abs/2606.26880v1
- Date: Thu, 25 Jun 2026 11:08:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.2545
- Title: Heterogeneous Neural Predictivity from Language Models During Naturalistic Comprehension
- Title（参考訳）: 自然言語理解における言語モデルからの不均一なニューラル予測
- Abstract要約: 言語モデル表現は、自然言語刺激の構造化された高次元アノテーションを提供する。
低レベルのベースラインに対する肯定的な保留予測と利得は、ソースレベルの要約に広まっていた。
これらの結果から,言語モデル由来の量によって,自然言語やテキストの理解において,神経活動に注釈を付けることが可能であることが示唆された。
- 参考スコア（独自算出の注目度）: 0.6331422666055228
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language-model representations provide structured, high-dimensional annotations of naturalistic language stimuli and can serve as informative neural predictors during comprehension. We analyzed locked derived data from Brain Treebank, MEG-MASC, and Podcast ECoG with eight frozen language models, blocked encoding models, and matched temporal, nuisance, and representation-capacity controls. Positive held-out prediction and gains over low-level baselines were widespread in source-level summaries. Across Brain Treebank and Podcast ECoG, 67 of 432 evaluable rows met a controlled predictive-only criterion, and model-side feature ablations changed prediction scores in most evaluable source rows. Brain-derived, timing-linked, acoustic, and implanted-signal controls confirmed component-level sensitivity of the analysis pipeline. These findings show that language-model-derived quantities can annotate neural activity during natural speech and text comprehension. Participant-level matched-control advantages were localized rather than uniform, response-profile and feature-specificity contrasts bounded representational or computational interpretations, and complete co-indexed integrated interpretation will require future jointly indexed coverage. Together, the analyses identify language-model features as useful neural predictors and separate predictive usefulness from claims about shared neural organization or language-processing computations.
- Abstract（参考訳）: 言語モデル表現は、自然言語刺激の構造化された高次元アノテーションを提供し、理解中に神経予測器として機能する。
我々は、Brain Treebank、MEG-MASC、Podcast ECoGのロックされた派生データを8つの凍結言語モデルで解析し、符号化モデルをブロックし、時間、ニュアンス、表現能力の制御にマッチした。
低レベルのベースラインに対する肯定的な保留予測と利得は、ソースレベルの要約に広まっていた。
Brain TreebankとPodcast ECoGの合計432行のうち67行は、制御された予測のみの基準を満たし、モデル側の特徴改善は、ほとんどの評価可能なソース行で予測スコアを変更した。
脳由来、タイミングリンク、音響制御、組込み信号制御は、分析パイプラインのコンポーネントレベルの感度を確認した。
これらの結果から,言語モデル由来の量によって,自然言語やテキストの理解において,神経活動に注釈を付けることが可能であることが示唆された。
参加者レベルのマッチング制御の利点は、一様で応答に目立たず、特徴に特有なコントラストは有界表現や計算的解釈ではなく、局所化され、完全な共インデックス化された統合的解釈は、将来の共同インデックス付きカバレッジを必要とする。
分析により、言語モデルの特徴を有用なニューラルネットワーク予測器として識別し、共有されたニューラルネットワークや言語処理計算に関する主張から予測的有用性を分離する。
関連論文リスト
- RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain [9.911908326274581]
本稿では,0ショットと少数ショットの正確な予測のためのコンパクトオーディオ-fMRIエンコーダであるRABBiTを紹介する。
RABBiTは、ヒト脳内の言語をスケーラブルに集団レベルで解析することを可能にする。
論文 参考訳（メタデータ） (2026-07-06T14:54:19Z) - Cross-Subject Semantic Decoding with Shared-Space Alignment for Generalized Neural Representation Learning [80.18561652862725]
被験者全体にわたる一般化は、侵襲的なニューラル記録において難しいままである。
本稿では,複数の被験者からの音声知覚に対するニューラル応答を共有潜在空間に整列させるクロスオブジェクトセマンティックデコーディングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-03T03:59:16Z) - Interpreting Brain Responses to Language with Sparse Features from Language Models [5.261667457257713]
我々は,高密度なLM隠蔽状態を階層的に構成したオートエンコーダ機能に置き換える符号化フレームワークを開発した。
言語処理中の脳の反応は、任意のLM特徴セットからのみ予測可能であることを示す。
論文 参考訳（メタデータ） (2026-06-05T03:01:28Z) - Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
言語混乱に関する最初の機械論的解釈可能性研究について述べる。
混乱点(CP)がこの現象の中心であることを示す。
比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
論文 参考訳（メタデータ） (2025-05-22T11:29:17Z) - Interpretable Next-token Prediction via the Generalized Induction Head [59.500195503897764]
一般化帰納型モデル (GIM) は次点予測のための解釈可能なモデルである。
言語モデリングでは、GIMは解釈可能なベースラインに対して最大25%の速さで次世代の予測を改善する。
fMRI設定では、GIMは神経反応予測を20%改善する。
論文 参考訳（メタデータ） (2024-10-31T12:33:26Z) - A predictive learning model can simulate temporal dynamics and context effects found in neural representations of continuous speech [11.707968216076075]
認知神経科学における最近の研究は、人間の音声のニューラルエンコーディングにおける時間的特徴と文脈的特徴を特定している。
本研究では,非競合音声で学習した計算モデルから抽出した表現を用いて,類似した解析をシミュレートした。
シミュレーションの結果,脳信号に類似した時間的ダイナミクスが明らかとなり,これらの特性が言語的知識を伴わずに生じる可能性が示唆された。
論文 参考訳（メタデータ） (2024-05-13T23:36:19Z) - BrainLLM: Generative Language Decoding from Brain Recordings [77.66707255697706]
本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。
提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。
本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
論文 参考訳（メタデータ） (2023-11-16T13:37:21Z) - Modeling structure-building in the brain with CCG parsing and large
language models [9.17816011606258]
Combinatory Categorial Grammars (CCGs) は文法の直接合成モデルである。
我々は、より表現力のあるCCGが、fMRIで収集された人間の神経信号に対する文脈自由文法よりも優れたモデルを提供するかどうかを評価する。
論文 参考訳（メタデータ） (2022-10-28T14:21:29Z) - Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。
より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。
次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文 参考訳（メタデータ） (2022-03-19T06:28:30Z) - Demystifying Neural Language Models' Insensitivity to Word-Order [7.72780997900827]
摂動の定量化により,自然言語モデルの単語順に対する不感度について検討する。
ニューラルネットワークモデルは、トークンのグローバルな順序付けよりも、局所的な順序付けを必要とする。
論文 参考訳（メタデータ） (2021-07-29T13:34:20Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳（メタデータ） (2020-06-19T12:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。