論文の概要: Information-Theoretic Storage Cost in Sentence Comprehension

• arxiv url: http://arxiv.org/abs/2602.18217v1
• Date: Fri, 20 Feb 2026 13:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.34153
• Title: Information-Theoretic Storage Cost in Sentence Comprehension
• Title（参考訳）: 文理解における情報理論ストレージコスト
• Authors: Kohei Kajikawa, Shinnosuke Isono, Ethan Gotlieb Wilcox,
• Abstract要約: 本研究では,情報理論の形式化に基づくストレージコストの計算手法を提案する。 従来の離散的な文法ベースのメトリクスとは異なり、この尺度は連続的で理論ニュートラルであり、事前訓練されたニューラルネットワークモデルから推定することができる。
• 参考スコア（独自算出の注目度）: 2.2430360925057102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-time sentence comprehension imposes a significant load on working memory, as comprehenders must maintain contextual information to anticipate future input. While measures of such load have played an important role in psycholinguistic theories, they have been formalized, largely, using symbolic grammars, which assign discrete, uniform costs to syntactic predictions. This study proposes a measure of processing storage cost based on an information-theoretic formalization, as the amount of information previous words carry about future context, under uncertainty. Unlike previous discrete, grammar-based metrics, this measure is continuous, theory-neutral, and can be estimated from pre-trained neural language models. The validity of this approach is demonstrated through three analyses in English: our measure (i) recovers well-known processing asymmetries in center embeddings and relative clauses, (ii) correlates with a grammar-based storage cost in a syntactically-annotated corpus, and (iii) predicts reading-time variance in two large-scale naturalistic datasets over and above baseline models with traditional information-based predictors.
• Abstract（参考訳）: リアルタイムの文理解は、将来の入力を予測するためにコンテキスト情報を維持する必要があるため、作業記憶にかなりの負荷をかける。 このような負荷の測度は精神言語学理論において重要な役割を担っているが、それらは主にシンタクティックな予測に独立した均一なコストを割り当てる記号文法を用いて形式化された。 本研究では,情報理論の定式化に基づく記憶コストの処理方法を提案する。 従来の離散的な文法ベースのメトリクスとは異なり、この尺度は連続的で理論ニュートラルであり、事前訓練されたニューラルネットワークモデルから推定することができる。 このアプローチの有効性は、英語で3つの分析を通して示される:我々の測度 一 中心埋め込み及び相対節においてよく知られた処理の対称性を回復すること。 二 文法的注釈付きコーパスにおける文法的記憶コストの相関 (iii) 従来の情報に基づく予測器を用いたベースラインモデル上での2つの大規模自然主義データセットの読解時間変動を予測した。

関連論文リスト

• Priors in Time: Missing Inductive Biases for Language Model Interpretability [58.07412640266836]
  スパースオートエンコーダは、時間とともに概念の独立を前提としており、定常性を暗示している。 本稿では,時間的帰納バイアスを持つ新たな解釈可能性目標である時間的特徴分析を導入し,その表現を2つの部分に分解する。 私たちの結果は、堅牢な解釈可能性ツールの設計において、データにマッチする帰納的バイアスの必要性を浮き彫りにしています。
  論文  参考訳（メタデータ） (2025-11-03T18:43:48Z)
• Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models [56.032091696552094]
  自然データ領域の一般化は、記憶の開始前に訓練中に徐々に達成される。 一般化対メモ化は、時間スケール間の競合として最もよく理解される。 この現象学は,確率論的文脈自由文法をランダムな規則で学習する拡散モデルにおいて復元されることを示す。
  論文  参考訳（メタデータ） (2025-05-22T17:40:08Z)
• Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
  我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
  トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。 本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
  論文  参考訳（メタデータ） (2024-07-16T11:12:28Z)
• Quantifying the Plausibility of Context Reliance in Neural Machine Translation [25.29330352252055]
  我々は、PECoRe(Context Reliance)の可塑性評価を導入する。 PECoReは、言語モデル世代におけるコンテキスト使用量の定量化を目的として設計されたエンドツーエンドの解釈可能性フレームワークである。 我々は、文脈対応機械翻訳モデルの妥当性を定量化するために、pecoreを使用します。
  論文  参考訳（メタデータ） (2023-10-02T13:26:43Z)
• Token-wise Decomposition of Autoregressive Language Model Hidden States for Analyzing Model Predictions [9.909170013118775]
  本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。 次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
  論文  参考訳（メタデータ） (2023-05-17T23:55:32Z)
• Pre-trained Sentence Embeddings for Implicit Discourse Relation Classification [26.973476248983477]
  暗黙の談話関係は、より小さな言語単位を一貫性のあるテキストに結合する。 本稿では,暗黙的対話関係感覚分類のためのニューラルネットワークにおけるベース表現として,事前学習文の埋め込みの有用性について検討する。
  論文  参考訳（メタデータ） (2022-10-20T04:17:03Z)
• How Can We Accelerate Progress Towards Human-like Linguistic Generalization? [22.810889064523167]
  本論文は,PAID(Pretraining-Agnostic Identically Distributed)評価パラダイムについて記述し,批判する。 本パラダイムは,(1)任意の大きさのコーパス上の単語予測モデルの事前学習,(2)分類タスクを表すトレーニングセット上の微調整(トランスファーラーニング),(3)同トレーニングセットと同じ分布から抽出されたテストセットの評価の3段階からなる。
  論文  参考訳（メタデータ） (2020-05-03T00:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。