論文の概要: Quantization Amplifies Determinism, Not Bias: Scale-Dependent Behavioral Effects of Serving-Time Weight Compression

• arxiv url: http://arxiv.org/abs/2609.07901v1
• Date: Mon, 07 Sep 2026 19:06:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.502794
• Title: Quantization Amplifies Determinism, Not Bias: Scale-Dependent Behavioral Effects of Serving-Time Weight Compression
• Title（参考訳）: 量子化はバイアスではなく決定性を増幅する:実時間重み圧縮のスケール依存的行動効果
• Abstract要約: 中規模のモデルの量子化は、しばしば「ほぼ自由」と見なされる いくつかの答えが有効であれば、量子化はモデルが言うべきことを変えるのか? 3つのチェックポイント(Qwen3-8B/14B/32B)を3つのウェイト精度(W4A16 AWQ、W8A16 FP8-Marlin、bf16)で提供する。 私たちは、プロンプトとシードで組み合わせた約71,000個のコンプリートを、2つのカスタムなリークチェックされたプロンプトバッテリーで収集します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight quantization largely determines the economics of serving open-weight LLMs. Its costs are usually assessed with capability benchmarks, on which 4-bit quantization of mid-sized models is often considered "nearly free." We examine a different question: when several answers are valid, does quantization change what a model chooses to say? We serve three checkpoints (Qwen3-8B/14B/32B) at three weight precisions (W4A16 AWQ, W8A16 FP8-Marlin, and bf16), holding the hardware, software, and sampling configuration constant, and collect approximately 71,000 completions paired by prompt and seed across two custom, leak-checked prompt batteries. We pre-specified the analyses in three waves in version control. At 8B, int4 reduces output diversity: the probability that two samples for the same scenario recommend the same brand increases by 5.1 percentage points (prompt-paired sign-flip test, Holm p = .023; reproduced at +4.4pp on a full regeneration of the arm), and lexical diversity falls substantially (TTR -0.011, standardized effect -0.51; robust to a length-controlled measure). At 14B and 32B, no content-concentration measure reaches significance; instead, stylistic drift emerges (em-dash rate +0.46/1k words at 14B and +0.61/1k at 32B, both Holm p <= .0024). Pre-specified tests of stereotype direction are null at every scale: outputs concentrate on the modal answer for each prompt rather than on stereotypical answers. Mechanistically, the token-level distribution becomes flatter (decision-token entropy +0.091 bits, p = .015) while the semantic distribution, measured directly from first-token log probabilities, becomes more concentrated (collision +2.6pp, p = .023): individual tokens become less predictable even as meanings become more repetitive. At 8B, the smallest size tested, AWQ-int4 serving measurably narrows the range of suggestions; audits should assess concentration as well as bias.
• Abstract（参考訳）: 軽量量子化は、オープンウェイト LLM を提供する経済を決定づける。 通常、そのコストは能力ベンチマークで評価され、中規模モデルの4ビット量子化はしばしば「ほぼ無料」と見なされる。 いくつかの答えが有効であれば、量子化はモデルが言うべきことを変えるのか? 我々は3つのチェックポイント(Qwen3-8B/14B/32B)を3つのウェイト精度(W4A16 AWQ,W8A16 FP8-Marlin,bf16)で提供し、ハードウェア、ソフトウェア、サンプリング設定定数を保持し、インプロンプトとシードでペアリングされた約71,000個のコンプリートを2つのカスタム・リークチェックプロンプト・バッテリーで収集する。 バージョン管理における3つの波動解析の事前特定を行った。 8Bでは、int4は出力の多様性を減らし、同じシナリオで2つのサンプルが同じブランドを推奨する確率は5.1ポイント上昇する(prompt-paired sign-flip test, Holm p = .023; 腕の完全な再生で+4.4ppで再生される)。 14Bと32Bでは、内容集中度は重要ではなく、代わりにスタイリスティックなドリフトが出現する(エムダッシュレート+0.46/1k、32Bでは+0.61/1k、ホルムp <= .0024)。 事前に特定されたステレオタイプ方向のテストはすべてのスケールでヌルであり、出力はステレオタイプ解ではなく各プロンプトのモーダル解に集中する。 機械的に、トークンレベルの分布はより平坦になり(決定-トークンエントロピー +0.091ビット、p = .015)、一方、第一-トークンログ確率から直接測定される意味分布はより集中的になり(衝突 +2.6pp, p = .023): 個々のトークンは、意味が反復的になるにつれて予測しにくくなる。 8Bでは、最小サイズであるAWQ-int4が提案の範囲を測る。

関連論文リスト

• The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations [0.0]
  我々は,ブランドレコメンデーションの繰り返し監査のための再利用可能なプロトコルとして,Dice Roll Methodを定式化した。 D-studyでは、探索、確認、厳密な3段階のイテレーションガイダンスが登場している。 3つの独立したコーパスに対する事前登録された外部検証は、障害のない39細胞のうち37細胞においてD-studyの信頼性予測を再現する。
  論文  参考訳（メタデータ） (2026-09-03T16:22:06Z)
• Deterministic LLM Inference Across GPU Kernels: Power-of-Two INT8 Quantization Scales and the Limits of Tolerance-Based Conformance [0.10152838128195468]
  量子化されたGEMMカーネルのコンフォーマンススイートは、2つの実装が許容範囲内で一致するかどうかを問う。 5つのエピローグ断層(スケール精度、ダブルラウンド、乗算順序、出力トランケーション、融合順序)のうちの1つが、少なくとも1つのbfloat16間隔で出力を移動していることがわかった。 5つの断層のうち4つはスイートのチェック無しで検出され、5番目は2つのスケールでのみ検出される。
  論文  参考訳（メタデータ） (2026-08-25T03:05:54Z)
• RDQ: Residual Distribution Quantization for Large Language Models [3.7323766833175718]
  大規模言語モデルの学習後の量子化は、4ビット精度以下で急激に低下する。 本稿では、カスケード誤差補償を中心とするPTQフレームワークRDQ(Residual Distribution Quantization)を提案する。 全ての出力は標準グループ-128非対称量子化であり、Qualcomm AIMET、GGUF、およびランタイムオーバーヘッドゼロの標準推論スタックにデプロイ可能である。
  論文  参考訳（メタデータ） (2026-07-11T05:54:00Z)
• Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
  学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。 3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。 精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
  論文  参考訳（メタデータ） (2026-07-10T21:55:05Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• The Last Word Often Wins: A Format Confound in Chain-of-Thought Corruption Studies [0.0]
  補正研究は、どのステップが計算上重要なのかを、ステップが破損した場合の精度損失から推定する。 ベンチマークチェーンが明確な終端応答ラインに終止符を打つと、これらのテストは中間計算を行う場所ではなく、主に空腹者の配置を計測する。
  論文  参考訳（メタデータ） (2026-05-11T16:26:50Z)
• Quantization Undoes Alignment: Bias Emergence in Compressed LLMs Across Models and Precision Levels [0.0]
  大規模言語モデルは、クラウドおよびエッジデプロイメントの推論コストとメモリフットプリントを低減するために、トレーニング後の量子化を通じて定期的に圧縮される。 既存の研究は通常、2つの条件のみを比較し、集約バイアスメトリクスに依存し、単一のモデルファミリを評価する。 12,148 BBQ バイアスベンチマーク項目の5つの精度レベル (BF16 - 3-bit) における3つの命令調整モデルの制御実験を行った。
  論文  参考訳（メタデータ） (2026-05-02T05:41:47Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。