論文の概要: WaterSIC: information-theoretically (near) optimal linear layer quantization

• arxiv url: http://arxiv.org/abs/2603.04956v1
• Date: Thu, 05 Mar 2026 08:50:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.150356
• Title: WaterSIC: information-theoretically (near) optimal linear layer quantization
• Title（参考訳）: WaterSIC:情報理論(近傍)最適線形層量子化
• Authors: Egor Lifar, Semyon Savkin, Or Ordentlich, Yury Polyanskiy,
• Abstract要約: 一般的なGPTQアルゴリズムは、ITの限界に対して任意に大きなギャップがあることが示されている。 WaterSIC'と呼ばれる新しいアルゴリズムが提案され、ITの限界まで0.255ビットのレートギャップ内にあることが示されている。
• 参考スコア（独自算出の注目度）: 24.236435814099707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper considers the problem of converting a given dense linear layer to low precision. The tradeoff between compressed length and output discrepancy is analyzed information theoretically (IT). It is shown that a popular GPTQ algorithm may have an arbitrarily large gap to the IT limit. To alleviate this problem, a novel algorithm, termed ''WaterSIC'', is proposed and is shown to be within a rate gap of 0.255 bits to the IT limit, uniformly over all possible covariance matrices of input activations. The key innovation of WaterSIC's is to allocate different quantization rates to different columns (in-features) of the weight matrix, mimicking the classical IT solution known as ''waterfilling''. Applying WaterSIC to the Llama and Qwen family of LLMs establishes new state-of-the-art performance for all quantization rates from 1 to 4 bits.
• Abstract（参考訳）: 本稿では, 与えられた密度線形層を低精度に変換する問題を考察する。 圧縮長さと出力誤差のトレードオフを理論的に解析する(IT)。 一般的なGPTQアルゴリズムは、ITの限界に対して任意に大きなギャップがあることが示されている。 この問題を緩和するために、新しいアルゴリズム「WaterSIC」が提案され、入力アクティベーションの全ての共分散行列に対して、ITの制限値に対して0.255ビットのレートギャップ内にあることが示されている。 WaterSICの重要な革新は、ウェイトマトリックスの異なる列(機能内)に異なる量子化率を割り当てることである。 LLMのLlamaおよびQwenファミリーにWaterSICを適用すると、1ビットから4ビットまでの全ての量子化レートに対して、新しい最先端のパフォーマンスが確立される。

関連論文リスト

• High-Rate Quantized Matrix Multiplication: Theory and Practice [29.75700570685703]
  本研究では,量子化行列乗法(MatMul)の問題点について検討する。 1) 両行列を量子化(重+量子化)しなければならないジェネリック・マトマルと,2) 第二行列が共分散行列$_X$でのみ知られている重みのみの量子化である。
  論文  参考訳（メタデータ） (2026-01-23T21:32:44Z)
• Learning Grouped Lattice Vector Quantizers for Low-Bit LLM Compression [57.54335545892155]
  本稿では,各重みの群に独自の格子コードブックを割り当てるGLVQ(Grouped Lattice Vector Quantization)フレームワークを紹介する。 提案手法は,既存のトレーニング後の量子化ベースラインと比較して,モデルサイズと精度のトレードオフが良好である。
  論文  参考訳（メタデータ） (2025-10-23T20:19:48Z)
• InfoQ: Mixed-Precision Quantization via Global Information Flow [3.4096951613673068]
  リソース制約のあるデバイスにディープニューラルネットワークをデプロイするには、MPQ(Mixed-precision Quantization)が不可欠である。 私たちは、ビット幅検索フェーズでトレーニング不要なMPQのための新しいフレームワークであるInfoQを紹介します。
  論文  参考訳（メタデータ） (2025-08-06T11:07:49Z)
• BAQ: Efficient Bit Allocation Quantization for Large Language Models [8.427223431012454]
  学習後モデルの量子化は、大規模言語モデルのメモリと計算コストを削減するために広く採用されている手法である。 既存の手法の多くは均一またはビット幅の割り当てに依存しており、量子化ノイズに対するウェイトの不均一な感度を考慮できない。 本稿では,Hessianプロキシから得られた感度指標に基づいて,量子化ビット幅を割り当てる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-06T01:27:01Z)
• GPTAQ: Efficient Finetuning-Free Quantization for Asymmetric Calibration [21.474315621757594]
  GPTAQは大規模トランスアーキテクチャを圧縮するための新しい微調整不要量子化法である。 各層を独立に校正する従来のGPTQ法とは異なり、我々は常に量子化層の出力と完全精度モデルの正確な出力とを一致させる。 GPTAQは実装が容易で、GPTQよりも20行のコードを使用するだけで、低ビット量子化下での性能を向上させることができる。
  論文  参考訳（メタデータ） (2025-04-03T15:30:43Z)
• PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
  大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。 我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。 実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-18T08:04:58Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Reweighted Solutions for Weighted Low Rank Approximation [47.790126028106734]
  重み付き低階近似(WLRA)は、統計解析から信号処理に至るまで、重要かつ困難なプリミティブである。 そこで本研究では,WLRAに対して,必ずしも低ランクではないが極めて少ないパラメータで保存可能な行列を出力する緩和解を提案する。 我々の中心となる考え方は、重み行列自体を低階解の重み付けに利用することであり、これは非常に単純なアルゴリズムであり、顕著な経験的性能を与える。
  論文  参考訳（メタデータ） (2024-06-04T15:50:35Z)
• Training quantum neural networks using the Quantum Information Bottleneck method [0.6768558752130311]
  ネットワークを介して伝達される特性に関する関連情報を最大化するために、量子ニューラルネットワークを訓練する具体的な方法を提案する。 これは、入力と出力が完全に量子である問題に対してオートエンコーダを訓練する際に最適化するために、運用的に確立された量を与えるためである。
  論文  参考訳（メタデータ） (2022-12-05T21:11:32Z)
• Taming Hyperparameter Tuning in Continuous Normalizing Flows Using the JKO Scheme [60.79981399724534]
  正規化フロー (NF) は、選択された確率分布を正規分布に変換する写像である。 OTベースのCNFを$alpha$をチューニングすることなく解くアルゴリズムであるJKO-Flowを提案する。
  論文  参考訳（メタデータ） (2022-11-30T05:53:21Z)
• Automatic and effective discovery of quantum kernels [41.61572387137452]
  量子コンピューティングは、カーネルマシンが量子カーネルを利用してデータ間の類似度を表現できるようにすることで、機械学習モデルを強化することができる。 本稿では,ニューラルアーキテクチャ検索やAutoMLと同じような最適化手法を用いて,この問題に対するアプローチを提案する。 その結果、高エネルギー物理問題に対する我々のアプローチを検証した結果、最良のシナリオでは、手動設計のアプローチに関して、テストの精度を一致または改善できることが示された。
  論文  参考訳（メタデータ） (2022-09-22T16:42:14Z)
• RMSMP: A Novel Deep Neural Network Quantization Framework with Row-wise Mixed Schemes and Multiple Precisions [43.27226390407956]
  この研究は、Row-wise Mixed-Scheme and Multi-Precisionアプローチによる新しいディープニューラルネットワーク(DNN)量子化フレームワーク、すなわちRMSMPを提案する。 提案するRMSMPは、画像分類と自然言語処理(BERT)の分野でテストされている。 同等の精度で、最先端技術の中で最高の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-30T02:53:35Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [97.03772272417599]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• Fast algorithm for quantum polar decomposition, pretty-good measurements, and the Procrustes problem [0.0]
  量子極分解の問題は量子特異値 QSVT を介して単純で簡潔な実装を持つことを示す。 我々は、量子状態の区別のための、かなり良い測定方法、最適に近い測定方法、および量子Procrustes問題への応用に焦点を当てる。
  論文  参考訳（メタデータ） (2021-06-14T17:50:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。