論文の概要: Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference

• arxiv url: http://arxiv.org/abs/2609.26621v1
• Date: Tue, 22 Sep 2026 15:54:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 01:05:39.73603
• Title: Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference
• Title（参考訳）: グレディデコーディングは精度不変ではない: LLM推論におけるクロス精度出力の多様性
• Abstract要約: 大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。 同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。 実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
• 参考スコア（独自算出の注目度）: 13.137699166830322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Greedy decoding from large language models is commonly treated as deterministic. We show it is not precision-invariant: the same model, prompt, and decoding algorithm produce different outputs in BF16 versus FP16 on identical hardware. Across our evaluations of six models (1.1B-7B parameters, four families; divergence additionally characterised at 12B) and three benchmarks, 49-100\% of prompts diverge; a single token flip often cascades into trajectory-level divergence. We develop an empirical error-propagation analysis and find that 22 layers of accumulated body error do not distinguish flipping from non-flipping steps; the outcome depends primarily on the top-two logit margin at the LM head relative to the directional perturbation between the top-two candidates. The analysis makes five testable predictions about intervention outcomes, including that applying more FP32 compute (broader scope) makes agreement worse. The experiments match all five predictions. The best-performing low-overhead intervention we evaluate, selective FP32 LM head recomputation, triggered only when the margin falls below a threshold, delivers +22-36 pp exact agreement on A10G (+12-21 pp on L4 and A100) at less than 4\% latency overhead in low-batch (batch size <=4) single-stream inference. We map the applicability boundary across six models and four batch sizes, and hypothesise that training-time precision stability is a determining factor. The method is a partial mitigation rather than a universal determinism guarantee: its benefit vanishes when body-originated error dominates, including at batch size >=8 and under end-to-end FP8 in our tests.
• Abstract（参考訳）: 大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。 同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。 6つのモデル(1.1B-7Bパラメータ、1.1B-7Bパラメータ、4つのファミリー、さらに12Bで特徴付けられる分岐)と3つのベンチマーク、49-100\%のプロンプト、単一トークンフリップは、しばしば軌道レベルの分岐にカスケードされる。 実験により,22層に蓄積した物体の誤差は非フライング段差と区別されず,主に上位2層間の指向性摂動に対してLMヘッドの2つの対数差に依存することがわかった。 この分析は介入結果に関する5つの検証可能な予測を行い、より多くのFP32計算(ブロードバンドスコープ)を適用することで合意が悪化する。 実験は5つの予測に一致した。 A10G (+12-21 pp on L4 and A100) に対して, 低バッチ (バッチサイズ<=4) 単一ストリーム推論において, 4 % 未満の遅延オーバーヘッドで+22-36 pp の正確な一致を達成できる。 6つのモデルと4つのバッチサイズで適用可能性境界をマップし、トレーニング時間精度の安定性が決定要因であると仮定する。 本手法は, バッチサイズ >=8, エンドツーエンドのFP8 を含む, ボディーオリジネートエラーが支配的となると, その利点が消滅する, 普遍的決定論というよりも部分緩和である。

関連論文リスト

• Beyond QA Matching: Perturbation-Response Fingerprinting via Probability Distributions for Large Language Models [12.84004924761875]
  BReFは,4つの回答選択ラベルA/B/C/D上の確率分布を,制御摂動下での確率分布と比較した無訓練指紋である。 34個のチェックポイント、22個の直接親関係、および411個の疑似候補対を持つ統一されたベンチマークにおいて、BReFは22/22のケースで文書化された親を検索する。 同じ家族による差別は困難であり、ペアリングテストではTop-25コントロールよりも精度の高い精度が向上している。
  論文  参考訳（メタデータ） (2026-09-06T01:35:07Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
  学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。 3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。 精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
  論文  参考訳（メタデータ） (2026-07-10T21:55:05Z)
• When Built-in Thinking Helps and Hurts: Constraint-Level Error Shifts in Instruction Following [0.0]
  大規模推論モデル (LRM) は数学や符号化性能を向上することが多いが、その影響は明らかではない。 IFEvalをQwen3モデル(1.7B-32B)で検討する。
  論文  参考訳（メタデータ） (2026-06-08T15:45:04Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Adaptive Consensus in LLM Ensembles via Sequential Evidence Accumulation: Automatic Budget Identification and Calibrated Commit Signals [0.0]
  DASEは、ベンチマークをまたいで一般化するコミット型ルーティングパーティションを生成する。 インジェクション帯域ではなく、適応的な停止が正確さを駆動する。 インジェクションベースの手法は、逆Uの精度-vs-推論軌道を示す。
  論文  参考訳（メタデータ） (2026-05-05T19:24:10Z)
• Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
  近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
  論文  参考訳（メタデータ） (2025-09-24T13:06:35Z)
• Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
  評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。 この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。