論文の概要: Truncation Samplers Are Nested: Comparing Decoding Rules Is a Measurement Problem

• arxiv url: http://arxiv.org/abs/2610.15570v1
• Date: Sun, 11 Oct 2026 12:32:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:49:46.333591
• Title: Truncation Samplers Are Nested: Comparing Decoding Rules Is a Measurement Problem
• Title（参考訳）: トランケーション・サンプラーは、デコードルールの比較は測定の問題だ
• Abstract要約: 2つのトランケーション・サンプルの1つの比較は6万時間A100時間かかるが、事前に2つのサンプルがどれくらい離れているかは述べられていない。 ほぼすべてのデプロイトランケーションルールが確率分類語彙のプレフィックスを保持するので、そのようなルールはデコードステップ毎にネストされる。 ネストはステップごとに閉じた形式と、両方のサンプルが最初に意見が一致するまで同じテキストを出力する結合をもたらす。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Settling one comparison between two truncation samplers has cost six thousand A100-hours, and nothing says in advance how far apart two samplers can be. We observe that almost every deployed truncation rule keeps a prefix of the probability-sorted vocabulary, so any two such rules are nested at every decoding step. Nesting yields a closed-form per-step distance and a coupling under which both samplers emit identical text until they first disagree. Accumulated over a generation, this gives a separation certificate that bounds the difference between two samplers on any bounded outcome, is computable from logs a comparison already produces, and equals their sequence-level total variation distance exactly when neither rule ever overtakes the other. Two consequences follow without measurement: exactness is fragile, and certifying a small difference requires the two retained masses to agree to very high precision at every step. On six open-weight models over four math and science benchmarks, the certificate for every hyperparameter grid we tested is at least 0.998, so a bound alone rarely settles a comparison, although two members of one family can be far closer. What remains useful is the coupling, which gives an unbiased paired estimator that cuts variance $1.2$-$3.8\times$ against prompt-level pairing. Read against benchmark sizes at the default pair's variance and our point estimate of its between-prompt component, resolving a one-point difference needs 8 to 32 samples per prompt on GSM8K, MATH-500 and GPQA-Diamond and about 210 on AIME 2025; at that component's upper confidence bound GPQA-Diamond needs more than 32 and AIME 2025 cannot be resolved at any sample count. Choosing a truncation sampler is a measurement problem at least as much as a design one. The code is available at https://github.com/KurbanIntelligenceLab/truncation-samplers.
• Abstract（参考訳）: 2つのトランケーション・サンプルの1つの比較は6万時間A100時間かかるが、事前に2つのサンプルがどれくらい離れているかは述べられていない。 ほぼすべてのデプロイトランケーションルールが確率分類語彙のプレフィックスを保持するので、そのようなルールはデコードステップ毎にネストされる。 ネスティングは、ステップごとに閉じた形式と、両方のサンプルが最初に意見が一致するまで同じテキストを出力する結合をもたらす。 1世代にわたって蓄積されたこの証明書は、2つのサンプルの差分を有界な結果にバウンドし、比較が既に生成したログから計算可能であり、ルールが他方を越さない場合にそのシーケンスレベル全体の変動距離を正確に等しくする。 正確性は脆弱であり、小さな違いを証明するためには、2つの保持質量はすべてのステップにおいて非常に高い精度で一致する必要がある。 4つの数学と科学のベンチマーク上の6つのオープンウェイトモデルにおいて、我々がテストしたハイパーパラメータグリッドの証明は少なくとも0.998であり、一方の家族の2つのメンバーがはるかに近くにあるにもかかわらず、境界のみが比較に決着をつけることは滅多にない。 依然として有用であるのはカップリングであり、これは非バイアスのペア推定器を与え、インパルスレベルのペアリングに対する分散を1.2$-$3.8\times$にする。 GSM8K, MATH-500, GPQA-Diamondでは1プロンプトあたり8～32個のサンプルが必要であり, AIME 2025では約210個のサンプルを必要とする。 トラクションサンプリング器を選択することは、少なくとも設計法と同じくらいの計測問題である。 コードはhttps://github.com/KurbanIntelligenceLab/truncation-samplersで入手できる。

関連論文リスト

• Two-Sample Testing via Generative Processes [60.42943145582429]
  生成輸送は、2つのサンプルが同じ分布から来るかどうかを決定する新しい方法を提供する。 2つのサンプルの間に直接補間体を構築し、対称スケジュールでは、その法則が時間反射の下で不変であることを観察する。 したがって、t と 1-t の辺辺が、Jensen-Shannon の発散を計算することで一致するかどうかをテストする。
  論文  参考訳（メタデータ） (2026-10-06T12:48:27Z)
• Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference [13.137699166830322]
  大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。 同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。 実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
  論文  参考訳（メタデータ） (2026-09-22T15:54:16Z)
• Deterministic LLM Inference Across GPU Kernels: Power-of-Two INT8 Quantization Scales and the Limits of Tolerance-Based Conformance [0.10152838128195468]
  量子化されたGEMMカーネルのコンフォーマンススイートは、2つの実装が許容範囲内で一致するかどうかを問う。 5つのエピローグ断層(スケール精度、ダブルラウンド、乗算順序、出力トランケーション、融合順序)のうちの1つが、少なくとも1つのbfloat16間隔で出力を移動していることがわかった。 5つの断層のうち4つはスイートのチェック無しで検出され、5番目は2つのスケールでのみ検出される。
  論文  参考訳（メタデータ） (2026-08-25T03:05:54Z)
• Certifying Compressed Language Models: An Audit and a Statistical Toolkit [0.0]
  正解率は, 正解率の約5倍であり, 正解率と正解率は同一であり, 個々の項目では相変わらず一致しない。 誰も有望な数値等価マージンを示しておらず、タスクマッチングされた各イテム出力はリリースしない。 欠落した機器: 宣言されたマージンでペア同値テストを行い、認定表に評価要求を与えます。
  論文  参考訳（メタデータ） (2026-08-15T05:15:35Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。