論文の概要: surprisal is Not a Theory

• arxiv url: http://arxiv.org/abs/2607.20208v1
• Date: Wed, 22 Jul 2026 14:28:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.113106
• Title: surprisal is Not a Theory
• Title（参考訳）: 前提は理論ではない
• Abstract要約: 本稿では,言語モデル確率の計算において,アルゴリズムとモデルアーキテクチャの選択が重要な役割を担っていることを示す。 予備理論を検証しようとする研究者は、大きな言語モデル確率を交換可能なものとして扱う実践を再評価することを推奨する。
• 参考スコア（独自算出の注目度）: 11.008374252651352
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Surprisal Theory is often characterized as a computational-level explanation per (Marr, 1982). We argue in this work that, even though a computational level narrative has been used to support "representation-agnostic research" within computational psycholinguistics, the movement toward black box systems embodied by large language models (LLMs) does not exempt modelers using the surprisal metric from the representational decisions required by computational-level characterizations. In fact, we argue that the uncritical use of LLM-surprisal obfuscates the representational and algorithmic-level commitments of different models. In three analyses, we show that the choice of algorithm and model architecture play significant roles in the computation of language model probabilities. We advise that researchers who wish to test Surprisal Theory re-evaluate the practice of treating large language model probabilities as interchangeable
• Abstract（参考訳）: サプライサル理論はしばしば計算レベルの説明として特徴づけられる(Marr, 1982)。 この研究において、計算レベルの物語は、計算心理言語学における「表現非依存の研究」を支援するのに使われてきたが、大きな言語モデル(LLM)によって具現化されたブラックボックスシステムへの動きは、計算レベルの特徴づけが要求する表現的決定から、主観的計量を用いたモデリングを免除しない、と論じる。 実際、LLMの非批判的な使用は、異なるモデルの表現的およびアルゴリズム的レベルのコミットメントを難読化していると論じる。 3つの分析において,言語モデル確率の計算において,アルゴリズムとモデルアーキテクチャの選択が重要な役割を担っていることを示す。 予備理論を検証しようとする研究者は、大きな言語モデル確率を交換可能なものとして扱う実践を再評価することを推奨する。

関連論文リスト

• Surprisal Theory is Tautological (without Rational Grounding) [60.917028769172795]
  予備理論は、文脈における言語単位の人間の処理困難は、ある言語モデルの下でのそのサブプライムのアフィン関数であると主張している。 この主張は、これ以上の制約を伴わないタウトロジーであると私は主張する。 私は、タウトロジーを破るには合理主義的な介入が必要だと結論付けます。
  論文  参考訳（メタデータ） (2026-07-23T17:54:37Z)
• Computational models of pragmatic reasoning with flexible generation of meaning and expression alternatives [3.746889836344766]
  ScAffolded Generative Model for Explanationは、認知モデルの説明的透明性と言語モデルの生成的柔軟性を組み合わせる。 SAGEは、実用的なプロセスをプロジェクタ、評価器、セレクタの3つのタイプに分解する。 本稿では,人間の実用言語使用の予測的説明として,ニューロシンボリックモデルの約束と限界について論じる。
  論文  参考訳（メタデータ） (2026-07-20T18:51:46Z)
• Learning inflection classes using Adaptive Resonance Theory [0.2676349883103403]
  本研究では,個々の言語利用者による言語学習の可読性について検討する。 我々は、一般化の度合いを決定するパラメータを持つニューラルネットワークであるAdaptive Resonance Theory(アダプティブ共振理論)を用いる。 クラスタリングと証明されたインフレクションクラスとの類似性は、インフレクションシステムの複雑さによって異なる。
  論文  参考訳（メタデータ） (2025-12-17T15:58:20Z)
• Computational Thinking Reasoning in Large Language Models [69.28428524878885]
  計算思考モデル(CTM)は、計算思考パラダイムを大規模言語モデル(LLM)に組み込んだ新しいフレームワークである。 ライブコード実行は推論プロセスにシームレスに統合され、CTMが計算によって考えることができる。 CTMは、精度、解釈可能性、一般化可能性の観点から、従来の推論モデルとツール拡張ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-06-03T09:11:15Z)
• Mirror Mirror on the Wall, Have I Forgotten it All? A New Framework for Evaluating Machine Unlearning [15.37608643831483]
  機械学習の手法は、データセットとリクエストセットでトレーニングされたモデルを取り、その後、リクエストセットにない例でのみトレーニングされたかのようにモデルを生成しようと試みる。 敵がミラーモデルと非学習手法で生成したモデルとを区別できることを示す。 本稿では,計算機アンラーニングという,機械アンラーニングのための強力な形式的定義を提案する。
  論文  参考訳（メタデータ） (2025-05-13T00:23:17Z)
• Hypothesis-Driven Theory-of-Mind Reasoning for Large Language Models [76.6028674686018]
  エージェントの精神状態を追跡するための推論時間推論アルゴリズムである思考トレースを導入する。 提案アルゴリズムは,ベイズ理論をモデルとした。 本研究は,様々なベンチマークにおける思考トレーシングを評価し,大幅な性能向上を実証した。
  論文  参考訳（メタデータ） (2025-02-17T15:08:50Z)
• Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach [70.44265766483633]
  本稿では,潜在空間における暗黙的推論によるテスト時間計算のスケールアップが可能な,新しい言語モデルアーキテクチャについて検討する。 我々のモデルは繰り返しブロックを繰り返すことで動作し、テスト時に任意の深さに展開する。 結果のモデルが推論ベンチマークの性能を劇的に改善できることが示される。
  論文  参考訳（メタデータ） (2025-02-07T18:55:02Z)
• On the Proper Treatment of Tokenization in Psycholinguistics [53.960910019072436]
  論文は、トークンレベルの言語モデルは、精神言語学研究で使用される前に、文字レベルの言語モデルにマージ化されるべきであると主張している。 興味領域自体のサブプライムよりも心理学的予測が優れている様々な焦点領域を見いだす。
  論文  参考訳（メタデータ） (2024-10-03T17:18:03Z)
• Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism [68.05754701230039]
  本研究では,トランスフォーマーモデルにおける情報伝達機構を解明するために,シンボル的多段階推論タスクを構築する。 モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-24T07:41:26Z)
• On the Tip of the Tongue: Analyzing Conceptual Representation in Large Language Models with Reverse-Dictionary Probe [36.65834065044746]
  我々は、言語記述に暗示される対象概念の用語を生成するために、文脈内学習を用いてモデルを誘導する。 実験結果から,逆ディファレンシャルタスクによって探索された概念推論能力は,モデルの一般的な推論性能を予測することが示唆された。
  論文  参考訳（メタデータ） (2024-02-22T09:45:26Z)
• Evaluating statistical language models as pragmatic reasoners [39.72348730045737]
  我々は,語学的な発話の意味を推測するために,大規模言語モデルの能力を評価する。 LLMは、複数の複雑な実用的発話の解釈に対して、文脈的、人間的な分布を導出することができる。 結果は,統計的言語モデルの推論能力と,実践的・意味論的解析への応用について報告する。
  論文  参考訳（メタデータ） (2023-05-01T18:22:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。