論文の概要: Deep LLM layers expose passage-level context in EEG during silent reading

• arxiv url: http://arxiv.org/abs/2610.23638v1
• Date: Fri, 16 Oct 2026 15:41:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.994442
• Title: Deep LLM layers expose passage-level context in EEG during silent reading
• Title（参考訳）: 深部LCM層はサイレントリーディング中に脳波の通過レベルコンテキストを呈する
• Abstract要約: 我々は、言語モデルの全深度にわたって、EEG-decodable構造がどのように分散されているかを示す。 単一のウィンドウは、コンテキスト的ターゲットが吸収できるパスレベル情報を運ぶ。 その結果、言語モデルの初期層における単語の同一性、深層における談話状態、ターゲット層の選択をEEG言語デコーダの設計ダイアルとする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a previous report we showed that a decoder can recover open-vocabulary word-level information from 19-channel EEG recorded during silent reading, by aligning short EEG windows with hidden-state embeddings of the presented word taken from a large language model (LLM). That analysis contrasted two of the model's 33 layers: the context-free input embedding and one mid-depth layer. Here we ask how EEG-decodable structure is distributed over the full depth of the language model. We trained one decoder per layer of Llama-3.1-8B, with and without a causal transformer over the sequence of EEG windows. We distinguish word-level decodability from a context-tracking component. Word-level decodability peaks in early layers and declines steadily towards the last layer. In contrast, the context-tracking component of the retrieval gain rises with depth, both with and without a causal transformer. Unexpectedly, a decoder that sees a single 0.5-s window at a time tracks the text passage too. Two new controls dissect this component. A target-geometry control, a synthetic predictor made of the true target plus noise calibrated to each decoder's word-level accuracy, shows that context tracking is not a by-product of word decoding and target geometry. A control that permutes predictions across runs from either the same or from different sessions shows that most of the observed context-tracking is not caused by an EEG recording session signature. Instead, context tracking mostly follows the text. A single EEG window therefore carries passage-level information that a contextual target can absorb. The results locate word identity in the early layers of the language model, discourse state in the deeper layers, and make the choice of target layer a design dial for EEG language decoders.
• Abstract（参考訳）: 前報では,大言語モデル (LLM) から抽出した単語の隠れ状態埋め込みと短い脳波ウィンドウをアライメントすることにより,サイレントリーディング中に記録された19チャンネル脳波からオープン語彙の単語レベル情報を復元できることを示した。 この分析では、33のモデルのうち2つの層、すなわち文脈自由な入力埋め込みと1つの中間層を比較した。 ここでは、言語モデルの全深度にわたって、EEG-decodable構造がどのように分散しているかを問う。 我々はLlama-3.1-8Bの層ごとに1つのデコーダをトレーニングした。 単語レベルのデオーダビリティと文脈追跡コンポーネントを区別する。 単語レベルの陰性度は、初期層でピークに達し、最終層に向かって着実に低下する。 対照的に、検索利得の文脈追跡成分は、因果変換器の有無にかかわらず、深さとともに上昇する。 予想外のことだが、一度に0.5秒のウィンドウを1つ見るデコーダは、テキストパスも追跡する。 2つの新しいコントロールがこのコンポーネントを識別する。 各デコーダの単語レベルの精度に調整された真のターゲット+雑音の合成予測器であるターゲット幾何学制御は、文脈追跡が単語復号とターゲット幾何学の副産物ではないことを示す。 同一または異なるセッションから実行される予測を置換する制御は、観測されたコンテキスト追跡のほとんどは、EEG記録セッションシグネチャによって発生しないことを示している。 その代わり、コンテキストトラッキングは主としてテキストに従う。 したがって、単一のEEGウィンドウは、コンテキスト的ターゲットが吸収できるパスレベル情報を運ぶ。 その結果、言語モデルの初期層における単語の同一性、深層における談話状態、ターゲット層の選択をEEG言語デコーダの設計ダイアルとする。

関連論文リスト

• MEVL-STP: Multi-Encoder and Vision Language Model for Arbitrarily Shaped Scene Text Spotting [8.338732868244707]
  マルチエンコーダセグメンテーションと視覚言語モデル認識を組み合わせた2段階パイプラインを提案する。 人工的なトレーニングデータなしで,Total-Text と ICDAR 2015 で高いパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2026-09-23T23:58:17Z)
• Decoding silent reading from non-invasive EEG [0.0]
  ドライエレクトロド脳波の393ランにわたる濃密にサンプリングされた1人の参加者から記録された24万ワードのオープンボキャブラリ解析を行った。 復号化は偶然よりも確実に行われ、中頻度で稀な単語に拡張され、飽和の兆候のないトレーニングデータボリュームで対数的にスケールされた。 これらの結果から,オープン語彙の単語レベル情報はサイレントリーディング中に脳波から復元可能であり,復号化は飽和ではなくデータ制限であることがわかった。
  論文  参考訳（メタデータ） (2026-08-20T15:41:05Z)
• Dual-Stream Cross-Anchor Correction Grounding Long-Form Captions and the Domain Limits of Object-Level Anchors [7.647944993041615]
  本稿では,Dual-Stream Cross-Anchor Correction (DSCC)を提案する。 後処理の復号処理とは異なり、DSCCは微調整中にオブジェクトレベルの視覚アンカーを言語モデル自体に注入する。 実験は長いカプセル化幻覚、オブジェクト存在差別、ドメイン間の一般化にまたがる。
  論文  参考訳（メタデータ） (2026-08-13T02:52:58Z)
• UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
  LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。 textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
  論文  参考訳（メタデータ） (2026-08-11T12:01:59Z)
• Learning Trajectory-Aware Multimodal Large Language Models for Video Reasoning Segmentation [55.743701532984126]
  我々はTrajSegを提案する。TrajSegはマルチモーダル大規模言語モデル上に構築されたシンプルで統一されたフレームワークである。 本研究では,MLLMが接頭辞(テキスト・トゥ・トラジェクティブ)と接頭辞(テキスト・トゥ・テキスト)の指示を受理する双方向テキスト・トラジェクティブアライメントを提案する。 このようにして、MLLMは、ビデオの対応性の向上と、より知覚的なオブジェクトの軌跡の恩恵を受けることができる。
  論文  参考訳（メタデータ） (2026-03-23T02:25:51Z)
• Learning Interpretable Representations Leads to Semantically Faithful EEG-to-Text Generation [52.51005875755718]
  我々は脳波からテキストへの復号に焦点をあて、後部崩壊のレンズを通して幻覚の問題に対処する。 脳波とテキスト間の情報容量のミスマッチを認め、デコードタスクをコア意味のセマンティックな要約として再設計する。 パブリックなZuCoデータセットの実験では、GLIMが一貫して、流動的なEEG基底文を生成することが示されている。
  論文  参考訳（メタデータ） (2025-05-21T05:29:55Z)
• GHOST: Grounded Human Motion Generation with Open Vocabulary Scene-and-Text Contexts [48.28000728061778]
  本稿では,オープンな語彙シーンエンコーダをアーキテクチャに統合し,テキストとシーン間の堅牢な接続を確立する手法を提案する。 提案手法は,従来の最先端ベースラインモデルと比較すると,目標目標距離距離を最大30%削減する。
  論文  参考訳（メタデータ） (2024-04-08T18:24:12Z)
• Improving Mandarin End-to-End Speech Recognition with Word N-gram Language Model [57.92200214957124]
  外部言語モデル(LM)は、エンドツーエンド(E2E)自動音声認識(ASR)システムの音声認識性能を向上させることができる。 単語レベルの格子をオンザフライで構築し,可能なすべての単語列を考慮可能な,新しい復号アルゴリズムを提案する。 提案手法は,N-gram LMやニューラルネットワーク LM など,サブワードレベルのLMを一貫して上回る。
  論文  参考訳（メタデータ） (2022-01-06T10:04:56Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。