論文の概要: On the Fundamental Limits of Prefill-Based Decoding Length Prediction

• arxiv url: http://arxiv.org/abs/2610.40541v1
• Date: Thu, 29 Oct 2026 17:36:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.12481
• Title: On the Fundamental Limits of Prefill-Based Decoding Length Prediction
• Title（参考訳）: プリフィルベースデコード長予測の基本限界について
• Abstract要約: 現在のベンチマークでは、予測品質とタスクのハードネスが説明されています。 我々はこの不安定さを自己回帰的復号法の本質に遡る。 固定モデル、データ、サンプリング条件の下では、予測子の広い設計空間が同様の性能に収束する。
• 参考スコア（独自算出の注目度）: 4.653969386987927
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Predicting how many tokens a large language model (LLM) will decode, using only prefill-phase hidden states, is a key primitive for inference scheduling. We show that current benchmarks conflate predictor quality with task hardness: when the target model, dataset, or sampling configuration changes, reported accuracy collapses even though the predictor is unchanged. We trace this instability to an overlooked error source---the inherent stochasticity of autoregressive decoding---and derive bounds that every prefill-side method must obey. Our analysis treats decoding as a stopped stochastic process. The per-step stopping probability of a response is not constant but ramps up over hundreds of steps, so the decode length inherits a central limit theorem from the many local decisions that determine where a response ends; this yields per-prompt normality with an explicit error term, together with an affine variance law $σ=αμ+b$ whose slope is the coefficient of variation of the number of response segments. Empirically, the normal law reproduces the per-prompt MAE and the central mass of the decode-length distribution to within a few percent, and the residual departures from normality (mild right skew, slight excess kurtosis) are the ones predicted by the sampling-noise correction. Under fixed model, data, and sampling conditions, a broad design space of predictors (MLP, EGTP, FiLM, soft-label, and Mixture-of-Experts variants) converges to similar performance close to the bound, confirming that \emph{system error dominates model error}. We argue for a benchmarking protocol that fixes the model, data, and sampling parameters and that reports relative-error metrics alongside absolute ones. Code and analysis tools are available at https://github.com/ShwStone/DecodingPredict.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プリフィルフェイズ(prefill-phase)の隠れ状態のみを使用して、どれだけのトークンをデコードするかを予測することは、推論スケジューリングの鍵となるプリミティブである。 対象モデルやデータセット,あるいはサンプリング設定が変更された場合,予測器が変更されていない場合でも,精度が低下する,という結果が得られた。 この不安定性を、見過ごされたエラーソース - 自己回帰的デコードの本質的な確率性 - にトレースし、すべてのプリフィルサイドメソッドが従わなければならない境界を導出する。 我々の分析は、復号化を停止確率過程として扱う。 応答のステップごとの停止確率は一定ではないが、数百以上のステップを突破するので、デコード長は、応答の終点を決定する多くの局所的な決定から中心極限定理を継承する。 経験的には、正規法則は1プロンプトMAEとデコード長分布の中央質量を数パーセント以内に再現し、正規性(ミルド右スキュー、わずかに過剰なカルトーシス)からの残留はサンプリングノイズ補正によって予測されるものである。 モデル、データ、サンプリング条件の下では、予測器(MLP、EGTP、FiLM、Soft-of-Experts variants、Mixture-of-Experts variants)の広い設計空間は、境界に近い同様の性能に収束し、 'emph{system error がモデルエラーを支配することを確認する。 我々は、モデル、データ、サンプリングパラメータを修正し、絶対値とともに相対エラーメトリクスを報告するベンチマークプロトコルについて議論する。 コードと分析ツールはhttps://github.com/ShwStone/DecodingPredict.comで入手できる。

関連論文リスト

• Twist, Don't Tilt: Trajectory-Exact Constrained Decoding for Masked Diffusion Models [41.6303675143411]
  本稿では,自動制御型モンテカルロデコーダであるTWISTERを紹介した。 正規言語制約に対して、Feynman-Kac補正は正確に計算可能であることを示す。 結果のFeynman-Kacモデルが制約満足度を条件とした不偏形Doob h変換経路法を対象とすることを示す。
  論文  参考訳（メタデータ） (2026-09-28T16:54:51Z)
• The Cost of Adaptivity: Matching Lower Bounds Across Learning Problems [1.0742675209112622]
  我々はスライス正規化ミニマックス比を用いてニュアンス適応を定式化する。 また、事前発表された1つのガウスクエリから任意のポストホックインスペクションへ拡張するコストを定義する。
  論文  参考訳（メタデータ） (2026-08-09T17:19:11Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Post-Hoc Split-Point Self-Consistency Verification for Efficient, Unified Quantification of Aleatoric and Epistemic Uncertainty in Deep Learning [5.996056764788456]
  不確実性定量化(UQ)は、信頼できる深層学習には不可欠であるが、既存の手法は計算集約的であるか、タスク固有の部分的な見積もりのみを提供する。 本研究では,事前訓練したモデルの変更や再訓練を伴わずに,アレタリックおよびてんかんの不確実性を共同でキャプチャするポストホック・シングルフォワード・パス・フレームワークを提案する。 提案手法は,EmphSplit-Point Analysis (SPA) を用いて,予測残差を上下サブセットに分解し,各側でEmphMean Absolute Residuals (MAR) を演算する。
  論文  参考訳（メタデータ） (2025-09-16T17:16:01Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Dirichlet-Based Prediction Calibration for Learning with Noisy Labels [40.78497779769083]
  雑音ラベルによる学習はディープニューラルネットワーク(DNN)の一般化性能を著しく損なう 既存のアプローチでは、損失補正やサンプル選択手法によってこの問題に対処している。 そこで我々は,textitDirichlet-based Prediction (DPC) 法を解法として提案する。
  論文  参考訳（メタデータ） (2024-01-13T12:33:04Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。