論文の概要: Attend to Your Own Thoughts: Breaking the Barrier for Post-Training Quantization of Reasoning LLMs through the Lens of 1.58-Bit Quantization

• arxiv url: http://arxiv.org/abs/2608.01078v1
• Date: Sun, 02 Aug 2026 08:22:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.079101
• Title: Attend to Your Own Thoughts: Breaking the Barrier for Post-Training Quantization of Reasoning LLMs through the Lens of 1.58-Bit Quantization
• Title（参考訳）: 1.58ビットの量子化レンズによるLLMの学習後量子化の障壁を突破する
• Abstract要約: LLMを推論するためのスケーラブルな3次学習後量子化フレームワークであるScaleQ-1.58を提案する。 AYOTとCAT-Qを統合することで、いくつかのスケーリング特性を示す。 密度とMoEの両方のアーキテクチャを一般化し、モデルスケールの増加に伴ってパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 13.903045659324187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose ScaleQ-1.58, a scalable ternary post-training quantization (PTQ) framework for reasoning LLMs. Its core insight stems from an empirical finding: although modern LLMs are typically trained to exhibit chain-of-thought reasoning capabilities, in the PTQ regime, even the latest CAT-Q method based on learning-based differentiable ternarization still leads to performance collapse on challenging mathematics and coding tasks when using conventional calibration schemes that ignore the model's reasoning process. Driven by this finding, we introduce a simple calibration approach, Attend to Your Own Thoughts (AYOT), where reasoning traces and final answers generated by the pre-trained high-precision target LLM on a proper set of calibration samples are used as the context input during the ternarization process, along with the corresponding questions. ScaleQ-1.58 is formed by simply integrating AYOT with CAT-Q, which demonstrates several scaling properties: (1) with only 4M calibration tokens, Qwen3-1.7B ternarized by ScaleQ-1.58 reaches over 90.52% of the performance of the prior best BitNet b1.58 2B4T averaged over 4 mathematics and coding tasks, and our ternary Qwen3-4B shows an absolute gain of 8.97%, while requiring 1,000,000x fewer calibration tokens for quantization; (2) ScaleQ-1.58 generalizes well to both dense and MoE architectures, with performance improving as model scale increases (up to 235B parameters); (3) ScaleQ-1.58 demonstrates strong generalization across tasks of varying difficulty levels, including mathematics, coding and scientific logic reasoning, as well as commonsense reasoning and basic language generation; (4) its performance continues to improve as the number of calibration tokens increases. Notably, AYOT also exhibits strong generalization ability across other quantization bit-widths. Code will be available at https://github.com/IntelChina-AI/BitTern.
• Abstract（参考訳）: LLMを推論するためのスケーラブルな3次学習後量子化(PTQ)フレームワークであるScaleQ-1.58を提案する。 現代のLCMは典型的にはチェーン・オブ・シークレットの推論能力を示すように訓練されているが、PTQ体制では、学習に基づく微分可能三元化に基づく最新のCAT-Q手法でさえ、モデルの推論プロセスを無視した従来の校正スキームを使用する場合、挑戦的な数学やコーディングタスクのパフォーマンスが低下する。 そこで,本研究では,事前学習した高精度目標LLMが生成した推論の痕跡と最終回答を,キャリブレーションサンプルの適切なセットを用いて,三元化プロセスのコンテキスト入力として利用する,簡単なキャリブレーション手法であるAttend to Your Own Thoughts (AYOT)を導入する。 ScaleQ-1.58は、単にAYOTとCAT-Qを統合することで構成され、(1) 4Mのキャリブレーショントークンしか持たず、(1)ScaleQ-1.7Bで3進化したQwen3-1.7Bは、4つの数学とコーディングタスクで平均90.52%のパフォーマンスに達する。 特に、AYOTは他の量子化ビット幅にわたって強力な一般化能力を示す。 コードはhttps://github.com/Intel China-AI/BitTern.comで入手できる。

関連論文リスト

• CAT-Q: Cost-efficient and Accurate Ternary Quantization for LLMs [13.903045659324187]
  本稿では,LCMの圧縮と高速化を目的としたCAT-Q,コスト効率,高精度な3次量子化について述べる。 1.7B から 8B のパラメータを持つ事前訓練された LLM では、CAT-Q は512 の校正サンプルのみを使用して3次モデルに効率よく定量化できる。 CAT-Qは,14Bから235Bのパラメータを持つ事前学習LLMを,わずか8時間から60時間で第3次モデルに定量化できることを示す。
  論文  参考訳（メタデータ） (2026-06-25T06:24:02Z)
• AlphaQ: Calibration-Free Bit Allocation for Mixture-of-Experts Quantization [104.10572215799239]
  混合精度量子化は、異なるビット幅を異なる専門家に割り当てることで、フットプリントを大幅に削減することができる。 既存のアプローチは、専門家の重要度を推定し、ビット割り当てを決定するためにキャリブレーションデータに依存している。 我々は,MoE量子化のためのキャリブレーションフリーなビット割り当て手法であるAlphaQを提案する。
  論文  参考訳（メタデータ） (2026-06-03T15:03:18Z)
• Item Response Scaling Laws: A Measurement Theory Approach for Efficient and Generalizable Neural Scaling Estimation [31.553914838498667]
  項目応答スケーリング法(IRSL)は,項目応答理論(IRT)を拡張法フレームワークに統合した統合フレームワークである。 IRSLは、質問特性から潜在モデルの能力を切り離し、M$モデルとN$質問のスケーリング法則の推定を分解する。 1)10のベンチマークから6,612のLMチェックポイントと37,682の質問を用いて、ダウンストリームスケーリングを事前学習し、(2)12のLMと120の質問を4つのベンチマークから、最大2,500のサンプルで実施する。
  論文  参考訳（メタデータ） (2026-05-29T20:55:15Z)
• TernaryLM: Memory-Efficient Language Modeling via Native 1-Bit Quantization with Adaptive Layer-wise Scaling [0.39287497907611874]
  本稿では, ネイティブな1ビット3次量子化 -1, 0, +1 を用いた 132M パラメータトランスフォーマアーキテクチャである TernaryLM を提案する。 この結果から,ネイティブな1ビットトレーニングが,効率的なニューラルネットワークモデルにとって有望な方向であることが示唆された。
  論文  参考訳（メタデータ） (2026-02-07T05:35:17Z)
• What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
  ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。 本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-01-21T11:22:29Z)
• Rethinking Output Alignment For 1-bit Post-Training Quantization of Large Language Models [41.677469535447024]
  大きな言語モデル(LLM)は、幅広いNLPタスクに対して強力なパフォーマンスを提供するが、その巨大なサイズは、リソースに制約のあるデバイスへのデプロイメントを妨げる。 トレーニング後の量子化(PTQ)は、リトレーニングを必要とせず、キャリブレーションのための小さなデータセットのみを必要とするため、その効率性に広く採用されている。 ポストトレーニング量子化の最近の進歩は、サブ4ビット法でさえオリジナルのモデル性能のほとんどを維持できることを示した。
  論文  参考訳（メタデータ） (2025-12-25T12:39:36Z)
• PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
  大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。 我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。 実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-18T08:04:58Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• Norm Tweaking: High-performance Low-bit Quantization of Large Language Models [21.855106896725598]
  そこで本研究では,現在のPTQ手法のプラグインとして利用できるノルム調整手法を提案する。 本手法は,重量のみの量子化と重みとアクティベーションの連成量子化の両面で有意な改善を示す。 私たちのシンプルで効果的なアプローチは、現実世界のアプリケーションにとってより実用的です。
  論文  参考訳（メタデータ） (2023-09-06T06:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。