論文の概要: ThinkBit: Search Codewords, Recalibrate Scales, Select by Reasoning

• arxiv url: http://arxiv.org/abs/2610.34886v1
• Date: Mon, 26 Oct 2026 05:56:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.768541
• Title: ThinkBit: Search Codewords, Recalibrate Scales, Select by Reasoning
• Title（参考訳）: ThinkBit: 検索コード,スケールの校正,推論による選択
• Abstract要約: 推論の保存を目的とした,厳密なスカラー2ビットフレームワークを提案する。 すべての重みは整数コードワードの倍数で、bfloat16スケールは重みのグループで共有される。 このフレームワークは最大14Bまでスケールし、3.74GBモデルはMATH-500で94.8点、29.5GB bfloat16では97.5点である。
• 参考スコア（独自算出の注目度）: 3.5641809082678098
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reasoning language models generate thousands of tokens per answer, and generation speed is limited by memory bandwidth, so storing weights in two bits instead of bfloat16 can potentially make inference 8$\times$ cheaper. Two-bit methods are usually judged by perplexity and multiple-choice question-answering accuracy, both of which say little about whether a model can still reason through more difficult problems. We present ThinkBit, a strictly scalar two-bit framework built to preserve reasoning, in which every weight is an integer codeword times a bfloat16 scale shared by a group of weights. We first use a sensitivity metric to assign each layer a ternary, 2-bit, or 3-bit tier to allocate bitwidths optimally among layers. This is followed by a layerwise Gumbel-softmax-based scalar quantization algorithm that searches for optimal codewords block by block. Since a layerwise scheme does not capture how quantized layers interact with each other, we recalibrate scales, with the codewords frozen, using a knowledge-distillation-based loss against the teacher model. We then perform a short quantization-aware training (QAT) stage that lets the model mimic the base model's distribution by reassigning codewords. Finally, a paired reasoning test on training problems selects the final checkpoint between the recalibration stage and the QAT stage. On Qwen3-1.7B at matched size, our recalibrated checkpoint scores 46.7 on MATH-500 against 30.0 for EfficientQAT trained on the same data, and 73.0 after QAT on reasoning traces; at 0.52 GB it is smaller than every published 2-bit GGUF of the model yet more accurate on MATH-500. We show that this framework scales and up to 14B, a 3.74 GB model scores 94.8 on MATH-500, against 97.5 for the 29.5 GB bfloat16 model.
• Abstract（参考訳）: 推論言語モデルは、応答毎に数千のトークンを生成し、生成速度はメモリ帯域幅によって制限されるため、bfloat16の代わりに2ビットに重みを格納することで、推論を8$\times$安くすることができる。 2ビット法は通常、パープレキシティと複数選択の質問答え精度によって判断されるが、どちらもモデルが依然としてより難しい問題を通して推論できるかどうかについてはほとんど語らない。 ThinkBitは厳格にスカラーな2ビットフレームワークで、すべてのウェイトが整数コードワードの倍で、bfloat16スケールは重みのグループで共有される。 まず、各層に第3層、第2層、第3層、第3層、第3層、第3層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第2層、第 次に、Gumbel-softmaxベースのスカラー量子化アルゴリズムが、ブロックごとの最適なコードワードを探索する。 レイヤワイズスキームは、量子化された層同士の相互作用を捉えないため、教師モデルに対する知識蒸留に基づく損失を用いて、コードワードを凍結してスケールを再検討する。 次に、コードワードを再割り当てすることで、モデルがベースモデルの分布を模倣できるように、短い量子化対応トレーニング(QAT)を行う。 最後に、トレーニング問題に対するペア推論テストは、再校正段階とQAT段階の最終的なチェックポイントを選択する。 一致サイズのQwen3-1.7Bでは、MATH-500で46.7点、同じデータでトレーニングしたEfficientQATで30.0点、推論トレースでQATで73.0点、モデルの発行された2ビットGGUFよりも0.52GB小さいが、MATH-500でより正確である。 このフレームワークは最大14Bまでスケールし、3.74GBモデルはMATH-500で94.8点、29.5GB bfloat16では97.5点である。

関連論文リスト

• Variable Bit-width Quantization: Learning Per-Group Precision for "Bigger-but-Smaller" Language Models [0.0]
  可変ビット幅量子化(VBQ)を導入する。 64重みの連続した群が1,2,4,8ビットから独自の分解能を学習する訓練時間法である。 バイト単位の品質では、VBQはFP16よりも3.9-8.4倍効率が高い。
  論文  参考訳（メタデータ） (2026-07-03T02:42:04Z)
• Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design [34.04231165571518]
  投機的復号化と量子化は、大きな言語モデルのメモリバウンド推論を効果的に加速する。 量子化は、重みとアクティベーションを低ビット幅に圧縮することでこれを達成し、低ビット行列乗算による計算を減らす。 実験により、4ビットの重み量子化によるメモリの利点は、投機的復号化による計算負荷によって減少することが示された。
  論文  参考訳（メタデータ） (2025-05-28T09:55:08Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• Differentiable Model Compression via Pseudo Quantization Noise [99.89011673907814]
  本稿では,モデルパラメータに独立な擬似量子化雑音を加えて量子化演算子の効果を近似する。 本手法が,画像分類,言語モデリング,音声ソース分離などのベンチマークやアーキテクチャにおいて,最先端の量子化技術を上回ることを実験的に検証した。
  論文  参考訳（メタデータ） (2021-04-20T14:14:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。