論文の概要: A unified information-theoretic model of EEG signatures of human language processing

• arxiv url: http://arxiv.org/abs/2212.08205v1
• Date: Fri, 16 Dec 2022 00:15:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 15:12:18.326452
• Title: A unified information-theoretic model of EEG signatures of human language processing
• Title（参考訳）: ヒト言語処理における脳波信号の統合情報理論モデル
• Authors: Jiaxuan Li and Richard Futrell
• Abstract要約: 脳内の人間の言語処理に関する情報理論モデルを構築し、入力された言語入力を2段階に分けて処理する。 我々は,これらの2種類の情報処理が,言語関連事象関連電位(ERPs)のN400およびP600成分に対応して,脳波の異なる特徴を有することを提案する。 我々の理論は原則として、良質な解釈段階を仮定する伝統的な認知理論と互換性があるが、正確な情報理論の定式化は可能である。
• 参考スコア（独自算出の注目度）: 7.190747604294439
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We advance an information-theoretic model of human language processing in the brain, in which incoming linguistic input is processed at two levels, in terms of a heuristic interpretation and in terms of error correction. We propose that these two kinds of information processing have distinct electroencephalographic signatures, corresponding to the well-documented N400 and P600 components of language-related event-related potentials (ERPs). Formally, we show that the information content (surprisal) of a word in context can be decomposed into two quantities: (A) heuristic surprise, which signals processing difficulty of word given its inferred context, and corresponds with the N400 signal; and (B) discrepancy signal, which reflects divergence between the true context and the inferred context, and corresponds to the P600 signal. Both of these quantities can be estimated using modern NLP techniques. We validate our theory by successfully simulating ERP patterns elicited by a variety of linguistic manipulations in previously-reported experimental data from Ryskin et al. (2021). Our theory is in principle compatible with traditional cognitive theories assuming a `good-enough' heuristic interpretation stage, but with precise information-theoretic formulation.
• Abstract（参考訳）: 我々は,脳内の人間の言語処理に関する情報理論モデルを構築し,入力言語入力をヒューリスティックな解釈と誤り訂正の観点から2段階に分けて処理する。 本稿では,これらの2種類の情報処理が,言語関連事象関連電位(ERP)のN400およびP600成分に対応して,脳波の異なる特徴を持つことを示す。 形式的には、文脈における単語の情報内容(主観)が2つの量に分解可能であることを示す: (a) 単語の難易度をその推定された文脈で処理し、n400信号に対応するヒューリスティックサプライズ、および (b) 真の文脈と推定された文脈との相違を反映してp600信号に対応する不一致信号。 どちらの量も現代のNLP技術を用いて推定できる。 ryskin et al. (2021) から先行報告された実験データを用いて, 様々な言語操作によるerpパターンのシミュレーションを成功させた。 本理論は,「良質な」ヒューリスティックな解釈段階を仮定した従来の認知理論と原理的に両立するが,正確な情報理論的定式化は行わない。

関連論文リスト

• Decomposition of surprisal: Unified computational model of ERP components in language processing [7.760815504640362]
  脳内の人間の言語処理に関する情報理論モデルを構築し、入力された言語入力を最初は浅瀬で処理し、その後はより深く処理する。 単語の文脈における情報内容(副次的)は、(A)単語の浅い処理困難を知らせ、N400信号に対応する浅層代名詞と、(B)浅い表現と深い表現との相違を反映し、P600信号に対応する深部代名詞の2つに分解できることを示す。
  論文  参考訳（メタデータ） (2024-09-10T18:14:02Z)
• An information-theoretic model of shallow and deep language comprehension [7.760815504640362]
  我々は情報理論を用いて、精度と処理深度の間の最適なトレードオフとして言語理解のモデルを定式化する。 浅層から深層へと進む言語処理の時間軸を定量化することにより、我々のモデルは、言語理解の行動的および神経的シグネチャを説明する統一的な枠組みを提供する。
  論文  参考訳（メタデータ） (2024-05-13T22:29:33Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Brain-Driven Representation Learning Based on Diffusion Model [25.375490061512]
  本研究では,拡散確率モデル(DDPM)について検討した。 条件付きオートエンコーダとDDPMを併用することで、我々の新しいアプローチは従来の機械学習アルゴリズムよりもかなり優れています。 本研究は,音声関連脳波信号解析のための高度な計算手法として,DDPMの可能性を強調した。
  論文  参考訳（メタデータ） (2023-11-14T05:59:58Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
  事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。 解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。 我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
  論文  参考訳（メタデータ） (2023-05-19T09:26:02Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。