論文の概要: Surprisal Theory is Tautological (without Rational Grounding)

• arxiv url: http://arxiv.org/abs/2607.21574v1
• Date: Thu, 23 Jul 2026 17:54:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.512087
• Title: Surprisal Theory is Tautological (without Rational Grounding)
• Title（参考訳）: 素性理論は(合理的接地なしで)タウトロジーである
• Abstract要約: 予備理論は、文脈における言語単位の人間の処理困難は、ある言語モデルの下でのそのサブプライムのアフィン関数であると主張している。 この主張は、これ以上の制約を伴わないタウトロジーであると私は主張する。 私は、タウトロジーを破るには合理主義的な介入が必要だと結論付けます。
• 参考スコア（独自算出の注目度）: 60.917028769172795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surprisal theory holds that the human processing difficulty of a linguistic unit in context is an affine function of its surprisal under some language model. I argue this claim is a tautology without further constraint: for any non-negative difficulty measure over units in context, there exists a language model whose surprisal is an affine function of it under mild technical conditions. Therefore, because any pattern of difficulty is consistent with some language model, without an additional constraint on the language model, surprisal theory makes no falsifiable predictions. The tautology was long obscured by an assumption implicit in two decades of psycholinguistic work---that the relevant language model is the distribution that generated the training corpus, so that improving corpus fit improves predictions of human behavior. Recent empirical work has undermined this assumption, demonstrating that better corpus models can be worse predictors of processing difficulty. I conclude that breaking the tautology requires a rationalist intervention, i.e., the relevant language model must be derived from a non-empirically motivated model of the comprehender, which could be based on, for instance, memory constraints or processing goals, and that, thus, does not depend on the behavioral data surprisal theory is meant to explain.
• Abstract（参考訳）: 予備理論は、文脈における言語単位の人間の処理困難は、ある言語モデルの下でのそのサブプライムのアフィン関数であると主張している。 文脈における単位の非負の難易度を測る上で、その前提関数が穏やかな技術的条件下でのそれのアフィン関数である言語モデルが存在する。 したがって、難易度パターンは言語モデルと一致しているため、言語モデルに追加の制約がないため、仮定理論は偽りの予測をしない。 このタウトロジーは、20年にわたる精神言語学的な作業において暗黙の仮定によって長い間曖昧にされ、関連する言語モデルがトレーニングコーパスを生成する分布であり、コーパス適合の改善が人間の行動予測を改善する。 近年の実証研究はこの仮定を弱めており、より良いコーパスモデルが処理困難の予測を悪化させる可能性があることを証明している。 テイトロジーを破るには合理主義的介入が必要であり、つまり、関連する言語モデルは、例えば、メモリ制約や処理目標に基づいた、経験的ではない動機付けのモデルから導出されなければならない。

関連論文リスト

• Learning inflection classes using Adaptive Resonance Theory [0.2676349883103403]
  本研究では,個々の言語利用者による言語学習の可読性について検討する。 我々は、一般化の度合いを決定するパラメータを持つニューラルネットワークであるAdaptive Resonance Theory(アダプティブ共振理論)を用いる。 クラスタリングと証明されたインフレクションクラスとの類似性は、インフレクションシステムの複雑さによって異なる。
  論文  参考訳（メタデータ） (2025-12-17T15:58:20Z)
• From Black-box to Causal-box: Towards Building More Interpretable Models [57.23201263629627]
  本稿では, 因果解釈可能性の概念を導入し, 特定のモデルのクラスから対実的クエリを評価できるときの形式化について述べる。 我々は、与えられたモデルアーキテクチャが与えられた偽物クエリをサポートするかどうかを決定する完全なグラフィカルな基準を導出する。
  論文  参考訳（メタデータ） (2025-10-24T20:03:18Z)
• Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning [0.0]
  我々は,言語モデルにおける論理的推論について,その誤りが確立された人間の誤りに追従するかどうかを問うことによって研究する。 各応答について,ETR予測誤り度と一致する場合の論理的推論と正当性を判定する。
  論文  参考訳（メタデータ） (2025-06-10T17:04:33Z)
• Counterfactual reasoning: an analysis of in-context emergence [57.118735341305786]
  我々は、言語モデルが反実的推論が可能なことを示す。 自己注意、モデル深度、トレーニング済みデータの多様性によってパフォーマンスが向上することがわかった。 以上の結果から, SDE 動態下での反実的推論が可能となった。
  論文  参考訳（メタデータ） (2025-06-05T16:02:07Z)
• Perceptions of Linguistic Uncertainty by Language Models and Humans [26.69714008538173]
  言語モデルが不確実性の言語表現を数値応答にどうマッピングするかを検討する。 10モデル中7モデルで不確実性表現を確率的応答に人間的な方法でマッピングできることが判明した。 この感度は、言語モデルは以前の知識に基づいてバイアスの影響を受けやすいことを示している。
  論文  参考訳（メタデータ） (2024-07-22T17:26:12Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• Testing the Predictions of Surprisal Theory in 11 Languages [77.45204595614]
  本研究では,11言語における副次的時間と読解時間の関係について検討する。 より多様な言語に焦点をあてることで、これらの結果は、情報理論と言語間のインクリメンタル言語処理の最も堅牢なリンクを提供すると論じる。
  論文  参考訳（メタデータ） (2023-07-07T15:37:50Z)
• State space models can express n-gram languages [51.823427608117626]
  我々は、n-gramルールから生成された言語に対して、次の単語予測タスクを解くことのできる状態空間言語モデルを構築している。 我々の証明は、SSMがn-gramルールをその能力に関する新たな理論的結果を用いてエンコードする方法を示している。 n-gramルールから生成された小さなデータセットを用いて実験を行い、勾配に基づく最適化によって得られたSSMやRNNにフレームワークをどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2023-06-20T10:41:23Z)
• Uncovering Constraint-Based Behavior in Neural Models via Targeted Fine-Tuning [9.391375268580806]
  本研究は,言語知識が不明な言語内での競合する言語プロセスを示す。 人間の行動は言語間で類似していることがわかったが、モデル行動の言語間差異は見いだされている。 以上の結果から,言語における言語的制約と相対的ランクの双方をモデルが学習する必要があることが示唆された。
  論文  参考訳（メタデータ） (2021-06-02T14:52:11Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• CausaLM: Causal Model Explanation Through Counterfactual Language Models [33.29636213961804]
  CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。 本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。 本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
  論文  参考訳（メタデータ） (2020-05-27T15:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。