論文の概要: HadaNorm: Diffusion Transformer Quantization through Mean-Centered Transformations

• arxiv url: http://arxiv.org/abs/2506.09932v1
• Date: Wed, 11 Jun 2025 16:54:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:03.145615
• Title: HadaNorm: Diffusion Transformer Quantization through Mean-Centered Transformations
• Title（参考訳）: HadaNorm:平均中心変換による拡散変換器量子化
• Authors: Marco Federici, Riccardo Del Chiaro, Boris van Breugel, Paul Whatmough, Markus Nagel,
• Abstract要約: ポストトレーニング量子化(PTQ)は,行列演算のビット幅を削減することで,有望な解を提供する。 本稿では,既存のアプローチを拡張し,アウトレーヤを効果的に緩和する新しい線形変換法であるHadaNormを提案する。 本研究では,HadaNormが変圧器ブロックの様々な構成成分の量子化誤差を一貫して低減できることを実証する。
• 参考スコア（独自算出の注目度）: 17.975720202894905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models represent the cutting edge in image generation, but their high memory and computational demands hinder deployment on resource-constrained devices. Post-Training Quantization (PTQ) offers a promising solution by reducing the bitwidth of matrix operations. However, standard PTQ methods struggle with outliers, and achieving higher compression often requires transforming model weights and activations before quantization. In this work, we propose HadaNorm, a novel linear transformation that extends existing approaches and effectively mitigates outliers by normalizing activations feature channels before applying Hadamard transformations, enabling more aggressive activation quantization. We demonstrate that HadaNorm consistently reduces quantization error across the various components of transformer blocks, achieving superior efficiency-performance trade-offs when compared to state-of-the-art methods.
• Abstract（参考訳）: 拡散モデルは、画像生成の最先端を表すが、その高いメモリと計算要求は、リソース制約されたデバイスへの展開を妨げる。 ポストトレーニング量子化(PTQ)は,行列演算のビット幅を削減することで,有望な解を提供する。 しかし、標準のPTQ法は外れ値に悩まされ、高い圧縮を達成するには、量子化の前にモデルの重みとアクティベーションを変える必要がある。 本研究では,既存のアプローチを拡張し,アダマール変換を適用する前に特徴チャネルの活性化を正規化することにより,より積極的なアクティベーション量子化を可能にする,新しい線形変換であるHadaNormを提案する。 本研究では,HadaNormが変圧器ブロックの様々な構成成分の量子化誤差を一貫して低減し,最先端の手法と比較して優れた効率・性能のトレードオフを実現することを実証する。

関連論文リスト

• PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [95.98801201266099]
  拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。 本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。 我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
  論文  参考訳（メタデータ） (2024-11-26T04:49:42Z)
• Q-DiT: Accurate Post-Training Quantization for Diffusion Transformers [45.762142897697366]
  ポストトレーニング量子化(PTQ)は有望なソリューションとして登場し、事前訓練されたモデルに対するモデル圧縮と高速化推論を可能にする。 DiT量子化の研究は依然として不十分であり、既存のPTQフレームワークは偏りのある量子化に悩まされがちである。 入力チャネル間での重みとアクティベーションの有意な分散を扱うための自動量子化粒度割当と、タイムステップとサンプルの両方にわたるアクティベーション変化を適応的にキャプチャする標本ワイド動的アクティベーション量子化という、2つの重要な手法をシームレスに統合する新しいアプローチであるQ-DiTを提案する。
  論文  参考訳（メタデータ） (2024-06-25T07:57:27Z)
• An Analysis on Quantizing Diffusion Transformers [19.520194468481655]
  ポストトレーニング量子化(PTQ)は、より小さなストレージサイズと推論時のメモリ効率の高い計算に対する即時対策を提供する。 低ビット量子化のために,アクティベーションの単一ステップサンプリング校正と重みのグループワイド量子化を提案する。
  論文  参考訳（メタデータ） (2024-06-16T23:18:35Z)
• RepQuant: Towards Accurate Post-Training Quantization of Large Transformer Models via Scale Reparameterization [8.827794405944637]
  ポストトレーニング量子化(PTQ)は、大きなトランスモデルを圧縮するための有望な解である。 既存のPTQメソッドは、通常、非自明な性能損失を示す。 本稿では、量子化推論デカップリングパラダイムを備えた新しいPTQフレームワークRepQuantを提案する。
  論文  参考訳（メタデータ） (2024-02-08T12:35:41Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Post-training Quantization for Text-to-Image Diffusion Models with Progressive Calibration and Activation Relaxing [49.800746112114375]
  本稿では,テキスト・画像拡散モデルのための学習後量子化手法(プログレッシブ・アンド・リラクシング)を提案する。 我々は,安定拡散XLの量子化を初めて達成し,その性能を維持した。
  論文  参考訳（メタデータ） (2023-11-10T09:10:09Z)
• LLIC: Large Receptive Field Transform Coding with Adaptive Weights for Learned Image Compression [27.02281402358164]
  学習画像圧縮のための適応重み付き大規模受容場変換符号化を提案する。 カーネルをベースとした奥行きに関する大規模な畳み込みを導入し,複雑さを抑えながら冗長性を向上する。 我々のLLICモデルは最先端のパフォーマンスを実現し、パフォーマンスと複雑さのトレードオフを改善する。
  論文  参考訳（メタデータ） (2023-04-19T11:19:10Z)
• JPEG Artifact Correction using Denoising Diffusion Restoration Models [110.1244240726802]
  本稿では,DDRM(Denoising Diffusion Restoration Models)に基づいて,非線形逆問題の解法を提案する。 我々は、DDRMで使用される擬逆演算子を活用し、この概念を他の測度演算子に一般化する。
  論文  参考訳（メタデータ） (2022-09-23T23:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。