論文の概要: Structured Transforms for Low-Overhead Quantization of Language Models
- arxiv url: http://arxiv.org/abs/2609.11687v1
- Date: Thu, 10 Sep 2026 15:15:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.414691
- Title: Structured Transforms for Low-Overhead Quantization of Language Models
- Title（参考訳）: 言語モデルの低オーバーヘッド量子化のための構造化変換
- Abstract要約: 我々は,大規模な言語モデルに対する加振分解に基づく重み量子化について再検討し,改良されたアルゴリズムを提案する。
更新を交互に行うグリーディアルゴリズムは,各因子の安定な2ビットクラスタリングに必要な4ピーク分布を保証する。
JAXパイプラインは、OPTQ、QuIP、QuIP-RG、微調整およびベクトル量子化なしのQuIP#と競合し、OPT、Llama-2、Pythiaの4ビットのチャネルで競合する。
- 参考スコア（独自算出の注目度）: 43.017319901277354
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We revisit Kashin-decomposition-based weight quantization for large language models and propose an improved algorithm with stronger convergence properties and structured, efficient orthogonal transforms. The method retains the core factorization of each weight into two components -- one with bounded infinity norm and the other with bounded infinity norm after an orthogonal transformation -- but replaces the dense random orthogonal matrix with a sign-randomized Discrete Cosine Transform (DCT), reducing the per-iteration cost from $\mathcal{O}(N^2)$ to $\mathcal{O}(N \log N)$. The proposed greedy algorithm with alternating updates guarantees the four-peak distribution required for stable 2-bit clustering of each factor and admits closed-form initialization of cluster centers, removing the multi-restart k-means bottleneck of prior work. Composed with OPTQ-style sequential error compensation and QuIP-style incoherence preprocessing, the resulting JAX pipeline is competitive with OPTQ, QuIP, QuIP-RG and a fine-tuning- and vector-quantization-free variant of QuIP# at 4-bit per channel on OPT, Llama-2 and Pythia, with favorable wall-clock scaling. The bounded-$\ell_\infty$ factorization is also notably robust: on stress configurations where QuIP variants diverge to four-digit perplexity (Pythia-6.9B) or abort with NaNs in LDL back-substitution (Mistral-7B), Kashin-DCT remains numerically stable and stays close to FP16 baseline. At inference time, each weight decomposes into two 2-bit factor codes per channel that are structurally suited to native-2-bit hardware.
- Abstract（参考訳）: 我々は,大言語モデルに対する嘉心分解に基づく重み量子化を再検討し,より強い収束特性と構造的,効率的な直交変換を持つ改良アルゴリズムを提案する。
この方法は、各重みのコア因子化を、直交変換後の有界無限度ノルムと、直交変換後の有界無限度ノルムの2つの成分に維持するが、高密度なランダム直交行列を符号ランダム化された離散コサイン変換(DCT)に置き換え、各イテレーションコストを$\mathcal{O}(N^2)$から$\mathcal{O}(N \log N)$に削減する。
更新を交互に行うグリーディアルゴリズムは,各因子の安定な2ビットクラスタリングに必要な4ピーク分布を保証し,クラスタセンターのクローズドな初期化を認め,先行作業のマルチスタートk平均ボトルネックを取り除く。
OPTQスタイルのシーケンシャルエラー補償とQuIPスタイルの非コヒーレンス前処理を組み合わせたJAXパイプラインは、OPTQ、QuIP、QuIP-RGと競合する。
QuIPの変種が4桁のパープレクティリティ(Pythia-6.9B)に分岐したり、LCLのバック置換(Mistral-7B)でNaNを中止するストレス構成では、Kashi-DCTは数値的に安定し、FP16ベースラインに近づいたままである。
推定時、各重みはチャネル毎に2ビットの因子コードに分解され、ネイティブな2ビットハードウェアに構造的に適合する。
関連論文リスト
- Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。
2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文 参考訳（メタデータ） (2026-05-30T14:29:43Z) - GoQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization [4.700954456190739]
エッジデバイス上の大規模言語モデル (LLM) とビジョントランスフォーマー (ViT) は、メモリ制限と、密度の高いマルチプライアキュムレート (MAC) 配列によって引き起こされる重要なタイミングボトルネックによって制約される。
超低ビット状態において、対数パワー・オブ・ツー(PoT)量子化はMAC演算をビットシフトで置き換えることで、ハードウェア効率の良い代替手段を提供する。
本稿では,アルゴリズム・ハードウェアの共同設計フレームワークであるGeometric Orthogonal Residual Projection Quantization (GoQuant)を提案する。
論文 参考訳（メタデータ） (2026-05-25T17:52:46Z) - Normalized Architectures are Natively 4-Bit [49.13186675123547]
重みと隠れ表現を単位超球面に制限するアーキテクチャであるnGPTは、本質的に低精度算術よりも堅牢である。
本手法は,最大3B/30Bパラメータの1.2B密度モデルとハイブリッド(Mamba-Transformer)MoEモデルの両方で検証する。
論文 参考訳（メタデータ） (2026-05-07T11:54:07Z) - Layer-wise QUBO-Based Training of CNN Classifiers for Quantum Annealing [0.0]
本稿では,畳み込みニューラルネットワーク(CNN)の頭部を学習するための,擬似Un Binary Optimization(QUBO)に基づく反復的フレームワークを提案する。
出力毎の分解は、$C$クラス問題を$C$独立QUBOに分割し、それぞれ$(d+1)K$バイナリ変数で、$d$が特徴次元、$K$がビット精度で分割する。
我々は,6つの画像分類ベンチマーク(スコーンディジット,MNIST,Fashion-MNIST,CIFAR-10,EMNIST,KMNIST)の評価を行った。
論文 参考訳（メタデータ） (2026-03-03T13:10:36Z) - Compile-once block encodings for masked similarity-transformed effective Hamiltonians [9.489652688191917]
電子構造演算子の類似性を符号化したオラクルを効果的に還元するためのコンパイルオンスモジュールパラメトリックパラメトリックであるComposERを提案する。
低ランク因子化はハミルトンと反エルミティアのジェネレータを圧縮し、ランク1の双線型および射影四角形のはしごに圧縮する。
固定軌道プールとキュービットレジスタは一度コンパイルされ、幾何、アクティブスペース(マスク)更新、トランケーションは再ダイオードされた単一キュービット回転によって吸収される。
論文 参考訳（メタデータ） (2026-02-28T18:05:51Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳（メタデータ） (2026-02-04T02:54:37Z) - WUSH: Near-Optimal Adaptive Transforms for LLM Quantization [52.77441224845925]
低ビット幅への量子化は、大きな言語モデルをデプロイするための標準的なアプローチである。
いくつかの極端な重みと活性化は、ダイナミックレンジを拡張し、量子化器の有効分解能を減少させる。
結合重みアクティベーション量子化のための閉形式最適線形ブロックワイズ変換を初めて導出する。
論文 参考訳（メタデータ） (2025-11-30T16:17:34Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - Special-Unitary Parameterization for Trainable Variational Quantum Circuits [7.2687813325879045]
SUN-VQC は、基本層が対称性制限されたリー部分群の単指数である変分回路アーキテクチャである。
本研究では, SUN-VQC が2--3$times$で収束し, 深度整合パウリ回路よりも高い最終忠実度に達することを示す。
論文 参考訳（メタデータ） (2025-07-07T23:21:02Z) - Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。
1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。
その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
論文 参考訳（メタデータ） (2025-07-01T18:46:27Z) - CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。
LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。
CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文 参考訳（メタデータ） (2023-12-13T07:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。