論文の概要: An information-theoretic model of shallow and deep language comprehension

• arxiv url: http://arxiv.org/abs/2405.08223v1
• Date: Mon, 13 May 2024 22:29:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 15:27:38.634978
• Title: An information-theoretic model of shallow and deep language comprehension
• Title（参考訳）: 浅層・深層言語理解の情報理論モデル
• Authors: Jiaxuan Li, Richard Futrell,
• Abstract要約: 我々は情報理論を用いて、精度と処理深度の間の最適なトレードオフとして言語理解のモデルを定式化する。 浅層から深層へと進む言語処理の時間軸を定量化することにより、我々のモデルは、言語理解の行動的および神経的シグネチャを説明する統一的な枠組みを提供する。
• 参考スコア（独自算出の注目度）: 7.760815504640362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A large body of work in psycholinguistics has focused on the idea that online language comprehension can be shallow or `good enough': given constraints on time or available computation, comprehenders may form interpretations of their input that are plausible but inaccurate. However, this idea has not yet been linked with formal theories of computation under resource constraints. Here we use information theory to formulate a model of language comprehension as an optimal trade-off between accuracy and processing depth, formalized as bits of information extracted from the input, which increases with processing time. The model provides a measure of processing effort as the change in processing depth, which we link to EEG signals and reading times. We validate our theory against a large-scale dataset of garden path sentence reading times, and EEG experiments featuring N400, P600 and biphasic ERP effects. By quantifying the timecourse of language processing as it proceeds from shallow to deep, our model provides a unified framework to explain behavioral and neural signatures of language comprehension.
• Abstract（参考訳）: 心理言語学における多くの研究は、オンライン言語理解が浅く、あるいは「十分良い」という考えに焦点が当てられている:時間や利用可能な計算の制約が与えられた場合、コンプレッシャーは、妥当だが不正確な入力の解釈を形成するかもしれない。 しかし、この考え方は資源制約の下での計算の形式理論とはまだ関連付けられていない。 ここでは、情報理論を用いて、入力から抽出した情報のビットとして定式化され、処理時間とともに増大する、精度と処理深度の間の最適なトレードオフとして言語理解のモデルを定式化する。 このモデルでは、処理深度の変化として処理の労力を計測し、脳波信号と読み取り時間にリンクする。 また,N400,P600,両相性ERP効果を考慮した脳波実験を行った。 浅層から深層へと進む言語処理の時間軸を定量化することにより、我々のモデルは、言語理解の行動的および神経的シグネチャを説明する統一的な枠組みを提供する。

関連論文リスト

• Decomposition of surprisal: Unified computational model of ERP components in language processing [7.760815504640362]
  脳内の人間の言語処理に関する情報理論モデルを構築し、入力された言語入力を最初は浅瀬で処理し、その後はより深く処理する。 単語の文脈における情報内容(副次的)は、(A)単語の浅い処理困難を知らせ、N400信号に対応する浅層代名詞と、(B)浅い表現と深い表現との相違を反映し、P600信号に対応する深部代名詞の2つに分解できることを示す。
  論文  参考訳（メタデータ） (2024-09-10T18:14:02Z)
• Injecting linguistic knowledge into BERT for Dialogue State Tracking [60.42231674887294]
  本稿では,教師なしの枠組みを用いて言語知識を抽出する手法を提案する。 次に、この知識を用いて、対話状態追跡(DST)タスクにおけるBERTの性能と解釈可能性を高める。 このフレームワークを様々なDSTタスクでベンチマークし、精度の顕著な改善を観察する。
  論文  参考訳（メタデータ） (2023-11-27T08:38:42Z)
• Meta predictive learning model of languages in neural circuits [2.5690340428649328]
  本稿では,予測符号化フレームワークにおける平均場学習モデルを提案する。 我々のモデルでは、ほとんどの接続は学習後に決定論的になる。 本モデルは,脳計算,次点予測,一般知能の関連性を調べるための出発点となる。
  論文  参考訳（メタデータ） (2023-09-08T03:58:05Z)
• Arithmetic with Language Models: from Memorization to Computation [3.077668143048211]
  本研究は、次のトークンを予測するために訓練された言語モデルが、トレーニングデータを超えて一般化された算術演算を実行する方法を検討する。 我々はこれらのタスクを学ぶために軽言語モデルを訓練し、外挿能力と内部情報処理を調べるために多くの実験を行った。
  論文  参考訳（メタデータ） (2023-08-02T13:58:37Z)
• A unified information-theoretic model of EEG signatures of human language processing [7.190747604294439]
  脳内の人間の言語処理に関する情報理論モデルを構築し、入力された言語入力を2段階に分けて処理する。 我々は,これらの2種類の情報処理が,言語関連事象関連電位(ERPs)のN400およびP600成分に対応して,脳波の異なる特徴を有することを提案する。 我々の理論は原則として、良質な解釈段階を仮定する伝統的な認知理論と互換性があるが、正確な情報理論の定式化は可能である。
  論文  参考訳（メタデータ） (2022-12-16T00:15:45Z)
• Bidirectional Representations for Low Resource Spoken Language Understanding [39.208462511430554]
  双方向リッチ符号化における音声符号化のための表現モデルを提案する。 このアプローチでは、表現を学習するために、マスク付き言語モデリングの目的を使用する。 得られたエンコーディングの性能は、複数のデータセットで比較できるモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-24T17:05:16Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• How Context Affects Language Models' Factual Predictions [134.29166998377187]
  検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。 この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
  論文  参考訳（メタデータ） (2020-05-10T09:28:12Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。