論文の概要: Decomposition of surprisal: Unified computational model of ERP components in language processing

• arxiv url: http://arxiv.org/abs/2409.06803v2
• Date: Mon, 11 Nov 2024 23:33:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:16:27.532084
• Title: Decomposition of surprisal: Unified computational model of ERP components in language processing
• Title（参考訳）: 補題の分解:言語処理におけるERP成分の統一計算モデル
• Authors: Jiaxuan Li, Richard Futrell,
• Abstract要約: 脳内の人間の言語処理に関する情報理論モデルを構築し、入力された言語入力を最初は浅瀬で処理し、その後はより深く処理する。 単語の文脈における情報内容(副次的)は、(A)単語の浅い処理困難を知らせ、N400信号に対応する浅層代名詞と、(B)浅い表現と深い表現との相違を反映し、P600信号に対応する深部代名詞の2つに分解できることを示す。
• 参考スコア（独自算出の注目度）: 7.760815504640362
• License:
• Abstract: The functional interpretation of language-related ERP components has been a central debate in psycholinguistics for decades. We advance an information-theoretic model of human language processing in the brain in which incoming linguistic input is processed at first shallowly and later with more depth, with these two kinds of information processing corresponding to distinct electroencephalographic signatures. Formally, we show that the information content (surprisal) of a word in context can be decomposed into two quantities: (A) shallow surprisal, which signals shallow processing difficulty for a word, and corresponds with the N400 signal; and (B) deep surprisal, which reflects the discrepancy between shallow and deep representations, and corresponds to the P600 signal and other late positivities. Both of these quantities can be estimated straightforwardly using modern NLP models. We validate our theory by successfully simulating ERP patterns elicited by a variety of linguistic manipulations in previously-reported experimental data from six experiments, with successful novel qualitative and quantitative predictions. Our theory is compatible with traditional cognitive theories assuming a `good-enough' shallow representation stage, but with a precise information-theoretic formulation. The model provides an information-theoretic model of ERP components grounded on cognitive processes, and brings us closer to a fully-specified neuro-computational model of language processing.
• Abstract（参考訳）: 言語関連ERPコンポーネントの機能的解釈は、何十年にもわたって精神言語学において中心的な議論となっている。 我々は,脳内の人間の言語処理に関する情報理論モデルを構築し,まず入力言語入力を浅瀬で処理し,さらに深度で処理する。 形式的には、単語の文脈における情報内容(副次的)は、(A)単語の浅い処理困難を示唆し、N400信号に対応する浅層命題と、(B)浅部表現と深部表現との相違を反映し、P600信号や他の後期肯定性に対応する深部命題とに分解できることが示される。 どちらの量も、現代のNLPモデルで簡単に推定できる。 我々は6つの実験から得られた様々な言語操作によって引き起こされるERPパターンをシミュレーションし,新しい定性的・定量的な予測に成功した。 我々の理論は、'良き'浅い表現段階を仮定する伝統的な認知理論と互換性があるが、正確な情報理論の定式化がある。 このモデルは認知プロセスに基づくERPコンポーネントの情報理論モデルを提供し、言語処理の完全な神経計算モデルに近づきます。

関連論文リスト

• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• An information-theoretic model of shallow and deep language comprehension [7.760815504640362]
  我々は情報理論を用いて、精度と処理深度の間の最適なトレードオフとして言語理解のモデルを定式化する。 浅層から深層へと進む言語処理の時間軸を定量化することにより、我々のモデルは、言語理解の行動的および神経的シグネチャを説明する統一的な枠組みを提供する。
  論文  参考訳（メタデータ） (2024-05-13T22:29:33Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• A unified information-theoretic model of EEG signatures of human language processing [7.190747604294439]
  脳内の人間の言語処理に関する情報理論モデルを構築し、入力された言語入力を2段階に分けて処理する。 我々は,これらの2種類の情報処理が,言語関連事象関連電位(ERPs)のN400およびP600成分に対応して,脳波の異なる特徴を有することを提案する。 我々の理論は原則として、良質な解釈段階を仮定する伝統的な認知理論と互換性があるが、正確な情報理論の定式化は可能である。
  論文  参考訳（メタデータ） (2022-12-16T00:15:45Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Does injecting linguistic structure into language models lead to better alignment with brain recordings? [13.880819301385854]
  言語モデルと脳記録との整合性は,構文的あるいは意味論的フォーマリズムからのアノテーションに偏りがある場合と評価する。 提案手法は,脳内の意味の組成について,より標的となる仮説の評価を可能にする。
  論文  参考訳（メタデータ） (2021-01-29T14:42:02Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。