論文の概要: Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment
- arxiv url: http://arxiv.org/abs/2609.01962v1
- Date: Wed, 02 Sep 2026 00:42:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.013709
- Title: Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment
- Title（参考訳）: Qwen3-4B能力, 有効ビット予算, ストレージ圧縮, 展開の訓練後ターナライゼーション
- Abstract要約: ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。
KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4B-パラメータモデルQwenの終端学習後変換について検討した。
有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ultra-low-bit language models can reduce storage and memory bandwidth, but a nominal "1.58-bit" label does not fully describe the stored representation, retained capability, or runtime behavior. We study an end-to-end post-training conversion of Qwen, an instruction-tuned 4B-parameter model, using KOTMS rotation, E2M-ATQ ternarization, and GPTQ-style error compensation from TWLA. The experiment is weight-only: activations remain at 16-bit precision, so ILA-AMP is omitted. We evaluate effective bit accounting, task capability retention, perplexity, calibration sensitivity, checkpoint composition, and deployment behavior. The final conversion uses 1.641 effective bits per weight for quantized linear weights, with 81.62% of model parameters targeted. Across ten scored capability comparisons, accuracy falls from 64.5% to 54.7%. Degradation is uneven: BoolQ retains 84.6% chance-corrected teacher performance, while ARC-Challenge retains 43.8%. Perplexity rises from 13.639 to 18.748 on WikiText-2, 24.700 to 31.992 on PTB, and 19.831 to 28.966 on C4. A subsequent packing run preserves the ternary planes and scales, reducing reported model size from 8.29 GiB to 3.96 GiB with essentially unchanged perplexity. A separate third-party packing attempt was lossy and is excluded from the primary artifact claim. The packed artifact has not been benchmarked end-to-end for task accuracy or generation throughput. A preliminary Triton GEMV microbenchmark is 4.6x slower than FP16 cuBLAS on one tested shape. We therefore do not claim that compression alone yields faster inference.
- Abstract（参考訳）: ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。
KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4BパラメータモデルのQwenの終端から終端への変換について検討した。
実験は重量のみであり、活性化は16ビットの精度で残っているため、IAA-AMPは省略される。
有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
最終的な変換では、1重あたり1.641ビットの有効ビットが量子化された線形重みに使われ、モデルパラメータの81.62%が対象となっている。
10点の能力比較で、精度は64.5%から54.7%に低下する。
BoolQは84.6%、ARC-Challengeは43.8%である。
複雑度はWikiText-2では13.639から18.748、TBでは24.700から31.992、C4では19.831から28.966に上昇する。
その後のパッキングランは3つの平面とスケールを保存し、報告されたモデルサイズを8.29 GiBから3.96 GiBに減らした。
別のサードパーティのパッキングの試みは損失が多く、主要なアーティファクトクレームから除外されている。
詰め込まれたアーティファクトは、タスクの正確性や生成スループットのためにエンドツーエンドにベンチマークされていない。
予備のトリトンGEMVマイクロベンチマークはFP16 cuBLASより4.6倍遅い。
したがって、圧縮だけではより高速な推論をもたらすという主張はしない。
関連論文リスト
- Scaling Post-Training Ternarisation to Qwen3-8B Capability Retention, Reproduction, Lossless Packing, and Packed Execution [0.0]
本研究では,Qwen3-4BからQwen3-8Bへのアグレッシブ後変換パイプラインのスケールアップについて検討する。
この変換では、KOTMS回転、E2M-ATQ適応三元化、重量のみのA16構成でのGPTQスタイルの誤り補償が使用される。
論文 参考訳（メタデータ） (2026-09-08T06:21:44Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Capability-Stratified Degradation in Ternary Language Models [0.0]
第三次言語モデルは重量を$-1,0,+1$に制限し、$log 3 approx 1.585$ bits/weightに近づいた。
量子化対応トレーニング(QAT)の72.4Mトークンを用いて、Qwen3.5-0.8B(752Mパラメータ)を3次重みに変換する。
結果のモデルであるCloeは、29のベンチマーク、表現診断、下流の微調整で評価される。
論文 参考訳（メタデータ） (2026-08-28T19:22:38Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - Variable Bit-width Quantization: Learning Per-Group Precision for "Bigger-but-Smaller" Language Models [0.0]
可変ビット幅量子化(VBQ)を導入する。
64重みの連続した群が1,2,4,8ビットから独自の分解能を学習する訓練時間法である。
バイト単位の品質では、VBQはFP16よりも3.9-8.4倍効率が高い。
論文 参考訳（メタデータ） (2026-07-03T02:42:04Z) - Output-Space Allocation Costs for Calibration-Guided LLM Compression: An Empirical Study [19.413175066072302]
大規模言語モデル(LLM)の訓練不要圧縮法は、圧縮決定を導くのに校正データを使用することが多い。
ROCKETは,スパースディファクチャリファクチャライゼーションとマルチチョイス・クナップサック問題(MCKP)アロケーションを組み合わせた最近の手法で,出力再構成目標から層ごとのファクチャリゼーションを導出する。
出力空間の目的と割り当てコストを一致させることで、圧縮モデル忠実度が向上するかどうかを検討する。
論文 参考訳（メタデータ） (2026-06-26T07:15:17Z) - BitCal-TTS: Bit-Calibrated Test-Time Scaling for Quantized Reasoning Models [0.0]
BitCal-TTSは、greedy 4ビット推論のための軽量ランタイムコントローラである。
標準のHugging Face 4ビット推論と統合され、フォワードフックを使ってログとラストレイヤーの隠蔽状態を生成する。
Qwen2.5インストラクトモデルによるGSM8Kの評価シャードについて、BitCal-TTSは、非ビット対応ベースラインよりも正確なマッチング精度を向上させる。
論文 参考訳（メタデータ） (2026-05-07T01:10:34Z) - Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。
我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
論文 参考訳（メタデータ） (2025-04-10T02:19:03Z) - QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。
QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する
最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
論文 参考訳（メタデータ） (2023-05-23T17:50:33Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳（メタデータ） (2023-01-31T02:46:57Z) - The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。
最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。
我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
論文 参考訳（メタデータ） (2022-12-19T18:48:33Z) - Efficient Speech Representation Learning with Low-Bit Quantization [32.75829498841329]
音声表現学習モデルにおける最近の量子化手法を適用し,検討する。
1ビットへのアグレッシブ量子化により、86.32%のストレージ削減(4.42 -> 25.23)、88%のランタイム削減(1.00 -> 0.12)とワードエラー率(7.06 -> 15.96)を達成した。
モデル圧縮も目的とするDistillHuBERTと比較すると、2ビット構成ではストレージがわずかに小さく(35.84対46.98)、ワードエラー率(12.68対13.37)、ランタイム推定(0.15対0.73)が向上した。
論文 参考訳（メタデータ） (2022-12-14T06:09:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。