論文の概要: Trainable Smooth-Rotation Transforms with Learned Channel Scales for LLM Quantization

• arxiv url: http://arxiv.org/abs/2606.09927v1
• Date: Sun, 07 Jun 2026 14:17:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.053129
• Title: Trainable Smooth-Rotation Transforms with Learned Channel Scales for LLM Quantization
• Title（参考訳）: LLM量子化のための学習チャネルスケールによるトレーニング可能な平滑回転変換
• Authors: Patrik Czakó, Gábor Kertész, Sándor Szénási,
• Abstract要約: 学習後の量子化は、大規模言語モデルのサービスコストを削減するための最も実践的な方法の1つである。 本稿では,スケールベース等価変換における過度なマイグレーションによる劣化の原因について検討する。 我々は、最大ベースのアクティベーション統計を高量子化に置き換えることで、SmoothRot型変換に対する量子ロバストスケーリングポリシーを導入する。
• 参考スコア（独自算出の注目度）: 3.058685580689604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training quantization (PTQ) is one of the most practical ways to reduce the serving cost of Large Language Models (LLMs), but activation quantization remains difficult because outlier-dominated channels lead to large quantization errors. This paper investigates whether part of this degradation is caused by over-migration in scaling-based equivalent transformations. We introduce a quantile-robust scaling policy for SmoothRot-style transforms by replacing max-based activation statistics with high quantiles, and we complement it with constrained gradient-based optimization of channel scales. On LLaMA-3.2-1B under W4A4 quantization, quantile-only policy search improves selected-layer error by 11.1% over the SmoothRot baseline, joint (alpha, q) search improves it by 12%, and training reaches 18.5%. Replaying the best selected-layer policy on all decoder-block down-projection layers reduces the corresponding full-layer mean error from 97.51 to 78.08 (19.9%). The results show that robust migration control and lightweight scale learning provide consistent gains over max-based fixed policies while preserving the equivalent-transform framework.
• Abstract（参考訳）: ポストトレーニング量子化(PTQ)は、大規模言語モデル(LLM)のサービスコストを削減する最も実践的な方法の1つであるが、外乱優先のチャネルが大規模な量子化エラーを引き起こすため、アクティベーション量子化は依然として困難である。 本稿では,スケールベース等価変換における過度なマイグレーションによる劣化の原因について検討する。 我々は,SmoothRot型変換に対して,最大ベースのアクティベーション統計を高量子化に置き換えることにより,量子ロバストスケーリングポリシーを導入し,チャネルスケールの制約付き勾配に基づく最適化でこれを補完する。 W4A4量子化下のLLaMA-3.2-1Bでは、量子化のみのポリシーサーチが選択された層エラーをSmoothRotベースライン上で11.1%改善し、ジョイント(アルファ、q)サーチは12%改善し、トレーニングは18.5%に達した。 すべてのデコーダブロックダウンプロジェクション層で最高の選択された層ポリシーを再生すると、対応する全層平均誤差は97.51から78.08(19.9%)に減少する。 その結果、ロバストなマイグレーション制御と軽量なスケール学習により、等価な変換フレームワークを保ちながら、最大ベースの固定ポリシーよりも一貫した利得が得られることが示された。

関連論文リスト

• Minimizing the Hidden Cost of Scales: Graph-Guided Ultra-Low-Bit Quantization for Large Language Models [50.16014098038291]
  学習後量子化(PTQ)は,大規模言語モデル(LLM)の効率的な展開に重要である 隠れスケーリングコストを最小限に抑えるLLMのための超低ビット量子化フレームワークであるSAGE-PTQを提案する。 LLaMA-3B では、SAGE-PTQ は BiLLM の 55.8 と比較して 6.74 WikiText2 のパープレキシティを実現している。
  論文  参考訳（メタデータ） (2026-06-03T20:51:52Z)
• SparseSwaps: Tractable LLM Pruning Mask Refinement at Scale [22.25809500403244]
  本研究では,任意のプルーニングマスクから開始し,LLMスケールで効率的に動作させる,トラクタブルでシンプルな1-スワップアルゴリズムを提案する。 提案手法は,Wanda (Sun et al., 2023) 上での層当たりのプルーニング誤差を最大60%削減し,最先端のGPTアーキテクチャにおけるパープレキシティとゼロショット精度を一貫して向上させることを実証する。
  論文  参考訳（メタデータ） (2025-12-11T18:47:48Z)
• SmoothRot: Combining Channel-Wise Scaling and Rotation for Quantization-Friendly LLMs [0.0]
  SmoothRotは、大規模言語モデル(LLM)における4ビット量子化の効率を高めるための、新しい学習後の量子化手法である。 本手法は,極端外れ値から量子化フレンドリなアクティベーションへと効果的に変換し,量子化精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-06-04T19:07:45Z)
• KurTail : Kurtosis-based LLM Quantization [51.24081396305435]
  KurTailは、大規模言語モデルのアクティベートにおいて、アウトレーヤを緩和する、新しいトレーニング後の量子化スキームである。 MMLUの精度は13.3%向上し、Wikiの難易度はQuaRotに比べて15.5%低下している。 また、SpinQuantを2.6%のMMLUゲインで上回り、パープレキシティを2.9%削減し、トレーニングコストを削減した。
  論文  参考訳（メタデータ） (2025-03-03T12:43:06Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• OstQuant: Refining Large Language Model Quantization with Orthogonal and Scaling Transformations for Better Distribution Fitting [20.944120156871108]
  後学習量子化(PTQ)は、Large Language Models(LLMs)の圧縮・加速技術として広く採用されている。 LLM量子化における大きな課題は、不均一で重み付きデータ分布が量子化範囲を拡大し、ほとんどの値のビット精度を低下させることである。 本稿では、量子化空間におけるデータの空間利用率を測定することにより、変換データの量子化性を効果的に評価する新しい指標である量子化空間利用率(BrotherQSUR)を紹介する。
  論文  参考訳（メタデータ） (2025-01-23T08:24:25Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
  ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。 既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。 本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
  論文  参考訳（メタデータ） (2024-03-19T08:40:21Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。