論文の概要: Transforms for LLM Quantization: The Great Inversion and Format Co-Design
- arxiv url: http://arxiv.org/abs/2608.25188v1
- Date: Tue, 25 Aug 2026 22:01:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.462219
- Title: Transforms for LLM Quantization: The Great Inversion and Format Co-Design
- Title（参考訳）: LLM量子化のための変換:大インバージョンとフォーマット共設計
- Abstract要約: 我々は、それを組織する原則であるグレート・インバージョンを特定し、形式化する。
43の変換手法を,構造・データ認識・検索・構築・実行コストで分類する。
- 参考スコア（独自算出の注目度）: 0.38073142980733005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most competitive 4-bit LLM research pipelines now open the same way: apply a linear, function-preserving transform (rotation, scaling, permutation, non-orthogonal affine) so the outlier mass sits more favorably against the group scales, and only then round. Yet we are aware of no survey dedicated to this transform stage, and its literature is quietly re-deriving an older theory. We identify and formalize the principle that organizes it, the Great Inversion: allocation-flexible coding rewards energy concentration, whereas the grouped shared-scale quantization a deployed matrix instruction performs rewards within-group flattening. Classical transform coding (1963: decorrelate, allocate bits, quantize) spends different bits per coordinate at a fixed total rate; for a Gaussian source at high rate the Karhunen-Loeve transform's concentration minimizes distortion. A deployed operand tile instead carries one absolute-maximum scale per group and equal bits everywhere, with no allocation; on a uniform grid that objective rewards flattening, approached by Hadamard incoherence. We prove that opposition under within-group majorization: the prescriptions point in opposite directions, each backed by a proof against its own objective, and for a generic spectrum no optimality guarantee transfers. A second axis is the number format: the non-uniform FP4 grid makes flattening buy less, MXFP4's power-of-two block scale still rewards a rotation confined to that block, and NVFP4's mantissa-carrying scale largely removes that pull, so the target pole depends jointly on allocation regime and format. We survey 200 works to a June 2026 cutoff; classify 43 transform methods by structure, data-awareness, searched-versus-constructed, and runtime cost; record, where reported, how they compose with GPTQ rounding; distill a first-choice guide by deployment regime; and close with the open problems it exposes.
- Abstract（参考訳）: 線形、関数保存変換(回転、スケーリング、置換、非直交アフィン)を適用することで、外周質量はグループスケールに対してより好意的に、かつ丸いだけである。
しかし、私たちはこの変換段階に関する調査は行わず、その文献は静かに古い理論を導出しています。
我々は、それを組織化する原理を同定し、定式化する: 割り当てフレキシブルな符号化は、エネルギー集中に報酬を与えるが、一方で、デプロイされた行列命令によるグループ化された共有スケール量子化は、グループ内の平坦化を行う。
古典変換符号化(1963年: decorrelate, allocate bits, Quantize)は座標毎の異なるビットを固定された総レートで消費する。
配置されたオペランドタイルは、アダマール・アンコヒーレンス(英語版)によってアプローチされた平らな報酬を目的とする均一なグリッド上に、グループごとの絶対最大スケールと任意のビットを割り当てることなく持つ。
グループ内での偏りの偏りは正反対の方向に向けられ、それぞれが自身の目的に対する証明によって裏打ちされる。
MXFP4のパワー・オブ・ツー・ブロック・スケールは、そのブロックに制限されたローテーションを今でも与え、NVFP4のマティーサ・キャリング・スケールは、そのプルを取り除き、ターゲットポールは割り当て規則とフォーマットに共同で依存する。
我々は,2026年6月における作業200件について調査を行い,構造,データ認識,検索・逆構築,実行コストによる43の変換方法の分類,報告された記録,GPTQのラウンドリングによる構成方法,デプロイメント体制による第1選択ガイドの蒸留,公開するオープンな問題に近づいた。
関連論文リスト
- Spectral Rank Certification for Foundation Model Adapters [0.0]
ノミナル・ロラのランクは設計パラメータであり、校正されたスペクトル証拠は別の推論量である。
本稿では,公立基礎モデルアダプタにおいて有効なランク構造を推定するための有限サンプルフレームワークを開発する。
26のパブリックアダプタ、684のモジュール、6つのアーキテクチャファミリ、31,770のパブリックチェックポイントスペクトル行の監査において、校正された効果的なランクは、通常、名目上のランクよりもはるかに小さい。
論文 参考訳（メタデータ） (2026-08-15T18:11:20Z) - Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。
重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。
補償は普遍的よりもトークン効率が高く低予算の勝利である。
論文 参考訳（メタデータ） (2026-08-03T19:44:08Z) - One-Sided Quantile Coupling for Flow Matching [8.295726579539016]
Flow Matching Train Continuous-time Generative Model by regressing the velocity field of a probability path between a simple source distribution and a target data distribution。
本稿では,データバッチのみをサンプリングし,各ペアソースを直接構築する軽量な一方結合であるQuantile Coupling Flow Matching (QC-FM)を提案する。
QC-FMはトレーニング予算に合わせてベースラインを改良し、FIDを最大12.9%削減し、4つのデータセットでOT-CFMを上回っている。
論文 参考訳（メタデータ） (2026-08-02T04:03:59Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - Variational and Majorization Principles in Lattice Reduction [0.0]
格子はGram-Schmidtプロファイルを滑らかにし、そのスムージングの背後にある局所スワップ機構を記述する。
この言語では、L-generaterはスワップのディープケーススプレッドとして数えられる。
論文 参考訳（メタデータ） (2026-04-30T12:46:30Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳（メタデータ） (2026-02-04T02:54:37Z) - Transform-Augmented GRPO Improves Pass@k [50.3707071191733]
グループ相対政策最適化(GRPO)は推論を改善するために設計されたが、2つの障害モードによって状況が悪化する。
本稿では,各質問に対して意味論的に等価な変換変種を生成するTA-GRPO(Transform-Augmented GRPO)を提案する。
このプール化された計算は、元の質問が簡単すぎるか難しすぎる場合でも、混合報酬を保証する一方、多様なフレーズのトレーニングは、複数のソリューション戦略を促進する。
論文 参考訳（メタデータ） (2026-01-30T02:43:29Z) - AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。
既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。
本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文 参考訳（メタデータ） (2024-03-19T08:40:21Z) - Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。
本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
論文 参考訳（メタデータ） (2021-04-14T23:54:55Z) - Region adaptive graph fourier transform for 3d point clouds [51.193111325231165]
本稿では,3次元点雲特性の圧縮のための領域適応グラフフーリエ変換(RA-GFT)を提案する。
RA-GFTは従来の手法よりも複雑性と性能のトレードオフが優れている。
論文 参考訳（メタデータ） (2020-03-04T02:47:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。