論文の概要: Bits or permutations? Spending a fixed inference budget on weight precision or on option-order averaging in small local language models
- arxiv url: http://arxiv.org/abs/2611.14413v1
- Date: Tue, 10 Nov 2026 17:53:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.920781
- Title: Bits or permutations? Spending a fixed inference budget on weight precision or on option-order averaging in small local language models
- Title(参考訳): ビットか置換か?小局所言語モデルにおけるウェイト精度やオプションオーダー平均化に対する固定推論予算の延長
- Abstract要約: ローカル言語モデルは、より少ないビットに重みを格納することでメモリを節約できる。
数回のリオーダーを平均化することで、回答オプションの順序に対する感度を低下させることができる。
第1弾が第2弾を悪くするのかどうかを問うとともに、固定予算を使うためのより安価な方法も問う。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Local language models can save memory by storing weights in fewer bits, and they can reduce sensitivity to the order of answer options by averaging a few reorderings. We ask whether the first makes the second worse, and which is the cheaper way to spend a fixed budget. On Qwen3-0.6B and Qwen3-1.7B with simulated round-to-nearest weight quantization (8, 6, 4 and 3 bits, fp16 reference), read from the logits of the letters A to D on ARC-Easy, ARC-Challenge, MMLU and HellaSwag (300 items each), 6 bits lose no accuracy against fp16 (they score +1.8 (+1.0 to +2.5) and +0.9 (+0.3 to +1.5) points higher, which we do not explain), and 8 bits change it by -0.7 (-1.1 to -0.3) and -0.4 (-0.7 to -0.2) points. At 4 bits the answer-slot skew rises from 0.15 to 0.53 (0.6B) and from 0.07 to 0.12 (1.7B); Gaussian noise at the same weight SNR gives 0.15 and 0.37 (two draws) and 0.19 (one draw), so the control is inconclusive on whether rounding adds slot skew beyond equal-power noise. Flip rates rise but stay below an accuracy-matched baseline of independent uniform errors. Averaging four cyclic orders recovers +12.6 points at 4 bits for 0.6B (+5.3 at fp16). We price bits and passes in one machine-independent unit, weight bytes read times passes. In cost-matched pairs, extra orders beat extra bits only when the weights have 6 or more bits, and the decision table reduces to: use 6-bit weights and spend the rest of the budget on up to four orders, one pass each. Everything is simulated on two small models with the simplest quantizer; a title-level search found no earlier study of quantization together with option order.
- Abstract(参考訳): ローカル言語モデルは、より少ないビットに重みを格納することでメモリを節約できる。
第1弾が第2弾を悪くするのかどうかを問うとともに、固定予算を使うためのより安価な方法も問う。
Qwen3-0.6B と Qwen3-1.7B では、実測値 (8ビット、6ビット、4ビット、3ビット、fp16参照) で、ARC-Easy, ARC-Challenge, MMLU and HellaSwag (300項目) の文字 A to D のロジットから読み取ると、6ビットは fp16 (これらのスコア +1.8 (+1.0 to +2.5) と +0.9 (+0.3 to +1.5) よりも高く、説明できない。
4ビットで解答スロットスキューは0.15から0.53(0.6B)、0.07から0.12(1.7B)に上昇し、同じ重さのガウスノイズは0.15と0.37(2つのドロー)と0.19(1つのドロー)を与えるため、ラウンドリングが等出力ノイズを超えたスロットスキューを付加するか否かは決定できない。
フリップレートは上昇するが、独立した一様誤差の精度にマッチした基準線以下にとどまる。
4つの周期順序の平均は、0.6B(fp16で+5.3)で4ビットで+12.6ポイント回復する。
私たちはビットを値付けし、1つのマシンに依存しないユニットにパスします。
コストマッチングされたペアでは、余分な注文は6ビット以上の重みを持つ場合にのみ余分なビットを上回り、決定表は6ビットの重みを使い、残りの予算を最大4つのオーダーで1つずつ通過する。
すべては、最も単純な量子化器を持つ2つの小さなモデルでシミュレートされ、タイトルレベルの探索では、オプション順序とともに量子化の以前の研究は見つからなかった。
関連論文リスト
- Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model [0.0]
局所デコードは通常、世代全体の1つの重みの精度を固定する。
8ビットの重みを格納し、上位4ビットでデコードし、低精度の出力分布が不確実な場合にのみ8ビットでステップを再生成する。
論文 参考訳(メタデータ) (2026-11-10T17:57:51Z) - Sensitivity-Gated Accumulator Caching for On-Device Learning of Low-Bit Hand Networks [0.0]
量子化を意識したトレーニングは、すべての重量の32ビットマスターコピーを状態とともに保持するので、これを安価に行うことはできない。
丸みを帯びたコードを直接訓練するにはコピーは必要ないが、すべてのステップで丸みを帯びたノイズを注入する。
感度ゲートキャッシング (SGAC) を導入し, 微小かつ変化する重み群のみの残留状態を保った。
論文 参考訳(メタデータ) (2026-11-07T22:16:33Z) - GateTrim: Adaptive-Rank Quantization for Large Language Models [5.329362445777807]
GateTrimは、量子化された低ランクの残差表現の低ランク要素を標準化する。
ターゲットの重み行列ごとに別々のゲートベクトルを学習し、共有しきい値を使用してその保持ランクを自動的に決定する。
論文 参考訳(メタデータ) (2026-10-31T05:34:54Z) - Swiss-Knife: A Framework for Reconfigurable Externalised Multi-Objective Alignment at Decode Time [15.488868543232664]
デコード時アライメント手法は、外部報酬で候補継続をスコアし、最大値を選択することで、凍結した言語モデルを操る。
この共有設計は、より広い空間における単一の退化点であると主張する。
外部化多目的アライメントのためのフレームワークであるSwiss-Knifeを紹介する。
論文 参考訳(メタデータ) (2026-09-03T01:31:53Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳(メタデータ) (2026-08-31T06:35:07Z) - Variable Bit-width Quantization: Learning Per-Group Precision for "Bigger-but-Smaller" Language Models [0.0]
可変ビット幅量子化(VBQ)を導入する。
64重みの連続した群が1,2,4,8ビットから独自の分解能を学習する訓練時間法である。
バイト単位の品質では、VBQはFP16よりも3.9-8.4倍効率が高い。
論文 参考訳(メタデータ) (2026-07-03T02:42:04Z) - ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。
3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。
ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
論文 参考訳(メタデータ) (2025-02-04T18:59:26Z) - SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。
この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。
We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
論文 参考訳(メタデータ) (2024-11-07T18:59:58Z) - The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。
最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。
我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
論文 参考訳(メタデータ) (2022-12-19T18:48:33Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳(メタデータ) (2020-11-20T23:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。