論文の概要: Cross-Entropy Risk Estimation for Language Models: Inconsistency Must Be Dense, and the Holdout Method Is No Exception
- arxiv url: http://arxiv.org/abs/2608.15798v1
- Date: Sun, 16 Aug 2026 15:24:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.426933
- Title: Cross-Entropy Risk Estimation for Language Models: Inconsistency Must Be Dense, and the Holdout Method Is No Exception
- Title（参考訳）: 言語モデルのクロスエントロピーリスク推定:不整合性は危険であり、ホールドアウト法は例外ではない
- Abstract要約: トポロジカルな事実から、一人当たりのクロスエントロピーリスクを見積もるのは困難である。
不整合推定は、予測シーケンス長の双方の境界の下で持続する。
前もって固定された閾値以下で リスクを報告すれば 整合性は回復する
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language models are compared by their held-out per-token cross-entropy risk---the quantity scaling laws are fitted to. We show that it cannot be consistently estimated. Consistency, or convergence to the estimand, is defined relative to a \emph{possible state of the world}: a pair consisting of a data-generating distribution and a model we turn out to train. Quantifying over models as well as data-generating mechanisms is essential, because what decides whether a model's risk is estimable is a tail property of the distribution its weights induce, which no sample reveals. The per-token cross-entropy risk is hard to estimate because of a topological fact: among the possible states, finite risk and infinite risk each lie arbitrarily close to every instance of the other. Consequently no estimator---not merely the holdout average---is consistent at every state at which the risk is defined. Worse, inconsistent estimation persists under both bounding the expected sequence length and restricting to full-support models; and in that restricted setting the states at which inconsistency occurs are even dense. Two interesting ways out are identified, and neither is free. Way out 1: using a bounded context window, we can floor a model's next-token probabilities, making its risk finite exactly when the data-generating distribution has finite expected sequence length---a new, statistical rationale for a choice that was made on computational grounds, though the assumption it substitutes is itself beyond the reach of any test. Way out 2: reporting the risk only when it falls below a threshold fixed in advance restores consistency, at no cost to what model selection actually requires---but we need to recognize that the goal of estimation is revised.
- Abstract（参考訳）: 言語モデルは、トーケン単位のクロスエントロピーリスクによって比較され、その量スケーリング法則が適合する。
一貫して見積もることはできない。
一貫性 (consistency) あるいは推定への収束 (consistency) は、データ生成分布と、私たちが訓練対象とするモデルからなるペアである \emph{possible state of the world} に対して定義される。
モデルのリスクが推定可能であるかどうかを決定するものは、その重みが引き起こされる分布のテール特性であり、サンプルが明らかにしないため、モデルとデータ生成機構の定量化が不可欠である。
トーン当たりのクロスエントロピーリスクは、トポロジカルな事実のため推定が難しい: 可能な状態の中では、有限のリスクと無限のリスクは、それぞれが他方のすべてのインスタンスに任意に近接している。
したがって、予測器は、単にホールドアウト平均ではなく、リスクが定義されているすべての状態において一貫性がある。
さらに悪いことに、予測シーケンス長とフルサポートモデルの両方の境界の下では、一貫性のない推定が持続し、その制限された設定では、一貫性が生じる状態はさらに密度が高い。
2つの興味深い方法が特定され、どちらも無料ではない。
出典1: 境界付けられたコンテキストウインドウを用いて、そのモデルの次の確率をフロアにし、そのリスクを、データ生成分布が期待されるシーケンス長が有限である場合に正確に有限にする。-- 計算上の根拠でなされた選択に対して、新しい統計的に理論的に理論的に理性性を持つ。しかし、それが補う仮定は、あらゆるテストの範囲を超えている。
関連論文リスト
- Revisiting Active Sequential Prediction-Powered Mean Estimation [6.660458629649825]
我々は、推定器の非漸近解析を開発し、その信頼区間にデータ依存のバウンダリを確立する。
さらに,クエリ確率を決定するために非regret学習アプローチを用いると,クエリ確率はクエリ確率の最大値の制約に収束することを示す。
論文 参考訳（メタデータ） (2026-04-20T17:55:17Z) - Model-Agnostic Covariate-Assisted Inference on Partially Identified Causal Effects [1.9253333342733674]
多くの因果推定値は、潜在的な結果間の観測不能な関節分布に依存するため、部分的にしか識別できない。
本研究では,部分的同定された推定値の広いクラスに対して,統一的かつモデルに依存しない推論手法を提案する。
論文 参考訳（メタデータ） (2023-10-12T08:17:30Z) - Non-Exchangeable Conformal Risk Control [12.381447108228635]
分割共形予測は、公式に保証された不確実性セットや間隔を提供する能力によって、最近大きな関心を集めている。
本研究では,データ交換不能時のモノトーン損失関数の期待値を制御できる非交換型共形リスク制御を提案する。
私たちのフレームワークはフレキシブルで、仮定はごくわずかで、所定のテスト例に対する関連性に基づいてデータを重み付けできます。
論文 参考訳（メタデータ） (2023-10-02T15:00:19Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - Counterfactual inference in sequential experiments [17.817769460838665]
複数の単位に複数の時間点に対する処理を割り当てるシーケンシャルな設計実験のアフタースタディ統計的推測を考察する。
我々のゴールは、最小限のスケールで、カウンターファクト平均に対する推論保証を提供することです。
我々は,いくつかのシミュレーションと,モバイル医療臨床試験HeartStepsのデータを含むケーススタディを通して,我々の理論を解説する。
論文 参考訳（メタデータ） (2022-02-14T17:24:27Z) - Uncertainty estimation under model misspecification in neural network
regression [3.2622301272834524]
モデル選択が不確実性評価に与える影響について検討する。
モデルミスセグメンテーションでは,アレータリック不確実性は適切に捉えられていない。
論文 参考訳（メタデータ） (2021-11-23T10:18:41Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳（メタデータ） (2021-11-22T08:54:10Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Divergence Frontiers for Generative Models: Sample Complexity,
Quantization Level, and Frontier Integral [58.434753643798224]
多様性フロンティアは生成モデルの評価フレームワークとして提案されている。
分岐フロンティアのプラグイン推定器のサンプル複雑性の非漸近的境界を確立する。
また,スムーズな分布推定器の統計的性能を調べることにより,分散フロンティアの枠組みも強化する。
論文 参考訳（メタデータ） (2021-06-15T06:26:25Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳（メタデータ） (2021-06-07T17:44:49Z) - Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware
Regression [91.3373131262391]
不確かさが唯一の確実性である。
伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。
現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
論文 参考訳（メタデータ） (2021-03-25T06:56:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。