論文の概要: On the Proper Treatment of Units in Surprisal Theory

• arxiv url: http://arxiv.org/abs/2604.28147v1
• Date: Thu, 30 Apr 2026 17:33:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.227434
• Title: On the Proper Treatment of Units in Surprisal Theory
• Title（参考訳）: 素数論における単位の適正処理について
• Authors: Samuel Kiegeland, Vésteinn Snæbjarnarson, Tim Vieira, Ryan Cotterell,
• Abstract要約: 仮定に基づく予測は,2つの異なるモデリング選択を記述したアドホックな手順に暗黙的に依存していることを示す。 素因に基づく分析はこれらの選択を明確にし、トークン化を実装の詳細として扱うべきだと我々は主張する。
• 参考スコア（独自算出の注目度）: 50.52310749207036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Surprisal theory links human processing effort to the predictability of an upcoming linguistic unit, but empirical work often leaves the notion of a unit underspecified. In practice, experimental stimuli are segmented into linguistically motivated units (e.g., words), while pretrained language models assign probability mass to a fixed token alphabet that typically does not align with those units. As a result, surprisal-based predictors depend implicitly on ad hoc procedures that conflate two distinct modeling choices: the definition of the unit of analysis and the choice of regions of interest over which predictions are evaluated. In this paper, we disentangle these choices and give a unified framework for reasoning about surprisal over arbitrary unit inventories. We argue that surprisal-based analyses should make these choices explicit and treat tokenization as an implementation detail rather than a scientific primitive.
• Abstract（参考訳）: 意外な理論は、人間の処理の努力と今後の言語単位の予測可能性とを結びつけるが、実証的な作業は、しばしばユニットが特定されていないという概念を残している。 実際には、実験的な刺激は言語的に動機付けられた単位(例えば単語)に分割され、事前訓練された言語モデルはそれらの単位と一致しない固定されたトークンアルファベットに確率質量を割り当てる。 その結果、主観に基づく予測は、分析単位の定義と、どの予測が評価されるかの関心領域の選択という、2つの異なるモデリング選択を詳述するアドホックな手順に暗黙的に依存する。 本稿では,これらの選択を解消し,任意の単体在庫に対する前提条件を推論するための統一的な枠組みを提供する。 先験的な分析はこれらの選択を明確にし、トークン化を科学的プリミティブというよりは実装上の詳細として扱うべきであると論じる。

関連論文リスト

• Formal Abductive Latent Explanations for Prototype-Based Networks [7.001970497421476]
  ケースベースの推論ネットワークは、プロトタイプと呼ばれるトレーニングサンプルの入力とプロトタイプの部分の類似性に基づいて予測を行う。 このような説明は時に誤解を招くものであり、安全クリティカルな文脈での有用性を損なうものであることを示す。 本稿では, 予測を暗示するインスタンスの中間表現について, 十分な条件を表現する形式として, ALE(Abductive Latent Explanations)を提案する。
  論文  参考訳（メタデータ） (2025-11-20T17:42:41Z)
• Invariant Causal Set Covering Machines [48.169632766444906]
  決定木のようなルールベースのモデルは、解釈可能な性質のために実践者にアピールする。 しかし、そのようなモデルを生成する学習アルゴリズムは、しばしば刺激的な関連に弱いため、因果関係の洞察を抽出することが保証されていない。 Invariant Causal Set Covering Machines は、古典的集合被覆マシンアルゴリズムの拡張であり、二値ルールの結合/分離を可能とし、スプリアス関係を確実に回避する。
  論文  参考訳（メタデータ） (2023-06-07T20:52:01Z)
• Token-wise Decomposition of Autoregressive Language Model Hidden States for Analyzing Model Predictions [9.909170013118775]
  本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。 次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
  論文  参考訳（メタデータ） (2023-05-17T23:55:32Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• On the Branching Bias of Syntax Extracted from Pre-trained Language Models [47.82102426290707]
  本稿では,言語とその逆言語の性能ギャップを比較することで,分岐バイアスを定量的に測定する。 分岐バイアス,すなわち解析アルゴリズム,特徴定義,言語モデルに対する3つの要因の影響を分析する。
  論文  参考訳（メタデータ） (2020-10-06T03:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。