論文の概要: LIRQuant: An Efficient Locally Isolated Rotation Quantization Method for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.25675v1
• Date: Mon, 19 Oct 2026 02:24:16 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:27:07.005833
• Title: LIRQuant: An Efficient Locally Isolated Rotation Quantization Method for Large Language Models
• Title（参考訳）: LIRQuant: 大規模言語モデルのための効率的な局所分離回転量子化法
• Abstract要約: 学習後量子化(PTQ)は,大規模言語モデル(LLM)の効率的な展開を可能にする 変換を選択的に適用する感度認識フレームワークである textbfLocally Isolated Rotation Quantization (LIRQuant) を提案する。 LIRQuantはノイズ重み付け感度計を用いて感度の高いチャネルを特定し、これらのチャネルにのみ表現的学習可能なローテーションを適用し、残りのチャネルに軽量な固定ローテーションを適用する。
• 参考スコア（独自算出の注目度）: 7.498998546811548
• License:
• Abstract: Post-Training Quantization (PTQ) enables efficient deployment of Large Language Models (LLMs), yet activation outliers remain a key challenge for low-bit quantization. Existing global transformation methods overlook heterogeneous channel sensitivity to quantization noise, leading to suboptimal accuracy-efficiency trade-offs. To address this, we propose \textbf{Locally Isolated Rotation Quantization (LIRQuant)}, a sensitivity-aware framework that selectively applies transformations. LIRQuant identifies sensitive channels using a noise-weighted sensitivity metric, applying expressive learnable rotations only to these channels and lightweight fixed rotations to the remaining ones. This decoupled design reduces optimization complexity without sacrificing outlier smoothing capability. Extensive experiments across the LLaMA-2/3, Mistral, Qwen3, and Mixtral families demonstrate that LIRQuant achieves state-of-the-art accuracy under the challenging W4A4KV4 setting. Meanwhile, LIRQuant calibrates LLaMA-3-8B in only 25 minutes with 20.3 GB peak GPU memory, achieving the fastest calibration and the lowest memory footprint among recent learnable-rotation methods, and its fused inference kernels deliver up to $2.3\times$ prefill speedup and $3.5\times$ memory saving over FP16.
• Abstract（参考訳）: Post-Training Quantization (PTQ)は、Large Language Models (LLM) の効率的なデプロイを可能にするが、アクティベーションアウトレイアは低ビット量子化の重要な課題である。 既存のグローバルトランスフォーメーション手法は、量子化ノイズに対する不均一なチャネル感度を見落とし、最適な精度と効率のトレードオフをもたらす。 これを解決するために、変換を選択的に適用する感度認識フレームワークである、textbf{Locally Isolated Rotation Quantization (LIRQuant)}を提案する。 LIRQuantはノイズ重み付け感度計を用いて感度の高いチャネルを特定し、これらのチャネルにのみ表現的学習可能なローテーションを適用し、残りのチャネルに軽量な固定ローテーションを適用する。 この分離された設計は、アウリエスムース化能力を犠牲にすることなく、最適化の複雑さを低減する。 LLaMA-2/3、Mistral、Qwen3、Mixtralファミリーにわたる大規模な実験は、LIRQuantが挑戦的なW4A4KV4設定の下で最先端の精度を達成することを示した。 一方、LIRQuantはLLaMA-3-8Bをわずか25分で20.3GBのピークGPUメモリで校正し、最近の学習可能回転法の中では最も高速な校正とメモリフットプリントを実現し、融合した推論カーネルは2.3\times$プリフィルスピードアップと3.5\times$FP16でのメモリ節約を実現している。

関連論文リスト

• LoopQuant: Accurate and Efficient Post-Training Quantization for Looped Transformers [13.615577926708319]
  LoopLMは共有トランスフォーマーモジュールを再利用することでパラメータ効率を向上させる。 既存のトレーニング後の量子化手法では、ループ間のアクティベーションのダイナミクスを考慮できない。 ループLMの高精度かつ効率的な低ビット量子化のためのループ対応PTQフレームワークであるLoopQuantを提案する。
  論文  参考訳（メタデータ） (2026-10-12T08:20:04Z)
• MXSens: Sensitivity-Aware Mixed-Precision Quantization for Efficient LLM Inference [36.01709922688871]
  MXSensは,カラムとレイヤの感度に基づいて混合マンチサビット幅を割り当てる訓練不要な手法である。 MXSensは、それぞれLLaMA-2-70BとLLaMA-3-8Bの3.77と7.63の難易度を実現し、WikiText-2の既存のベースラインを大幅に改善した。
  論文  参考訳（メタデータ） (2026-07-20T09:23:10Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• SmoothRot: Combining Channel-Wise Scaling and Rotation for Quantization-Friendly LLMs [0.0]
  SmoothRotは、大規模言語モデル(LLM)における4ビット量子化の効率を高めるための、新しい学習後の量子化手法である。 本手法は,極端外れ値から量子化フレンドリなアクティベーションへと効果的に変換し,量子化精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-06-04T19:07:45Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• Rotated Runtime Smooth: Training-Free Activation Smoother for accurate INT4 inference [54.2589824716527]
  大規模言語モデルは、その大規模なため、相当な計算とメモリ移動コストを発生させる。 既存のアプローチでは、外れ値と通常の値を2つの行列に分けたり、アクティベーションからウェイトに移行したりしています。 Smooth と Rotation 操作からなる量子化のためのプラグ・アンド・プレイ・アクティベーション・スムーザである Rotated Smooth (RRS) を提案する。 提案手法は,LLaMAおよびQwenファミリーにおける最先端の手法より優れており,IF4推論におけるWikiText-2の難易度は57.33から6.66に向上している。
  論文  参考訳（メタデータ） (2024-09-30T14:59:22Z)
• SpinQuant: LLM quantization with learned rotations [49.07335692298487]
  重み、アクティベーション、KVキャッシュに適用された後トレーニング量子化(PTQ)技術は、大規模言語モデル(LLM)のメモリ使用量、レイテンシ、消費電力を大幅に削減する。 我々は、量子化精度を高めつつ、完全精度のトランスフォーマーアーキテクチャにおいて同一の出力をもたらす、適用可能な回転パラメータ化の集合を同定する。 本研究では,学習した回転行列を最適な量子化ネットワーク精度に組み込む新しい手法であるSpinQuantを提案する。
  論文  参考訳（メタデータ） (2024-05-26T02:15:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。