論文の概要: Chameleon: Dynamic Format Adapter for Efficient Diffusion

• arxiv url: http://arxiv.org/abs/2609.33496v1
• Date: Sun, 27 Sep 2026 12:04:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 16:21:50.405001
• Title: Chameleon: Dynamic Format Adapter for Efficient Diffusion
• Title（参考訳）: Chameleon: 効率的な拡散のための動的フォーマットアダプタ
• Abstract要約: ポストトレーニング量子化(PTQ)は、メモリ制約された加速器上で現代的な拡散モデルを実行する標準的な方法である。 ビット幅を固定し,フォーマット自体を離散変数として扱うフレームワークであるChameleonを提案する。 SDXL、SD-Turbo、PixArt-$はCOCO-2014で、Chameleonは6つのバックボーンの$times$bit-width設定で最高のFIDを達成している。
• 参考スコア（独自算出の注目度）: 4.472720779698887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization (PTQ) is the standard way to run modern diffusion models on memory-constrained accelerators, yet every existing diffusion PTQ scheme fixes the $\mathit{number\ format}$ in advance and only tunes the scale, zero point, or per-layer bit-width. At a fixed bit-width the best format depends on the distribution being encoded, and that distribution differs across weight channels, across layers, and along the diffusion timestep, where activation distributions slide from heavy-tailed and noise-dominated to tightly clustered and structured. We propose Chameleon, a PTQ framework that holds the bit-width fixed and treats the format itself as a discrete variable, chosen per weight channel and per (layer, timestep bucket) activation tensor. Activation formats come from {INT8, FP8 E4M3, FP8 E5M2, MXFP8, MXINT8}, selected ahead of time from two cheap statistics (empirical kurtosis and the closed-form diffusion SNR) and stored in a lookup table; weight formats come from {INT8, MXINT8} at 8 bits or {INT4, NF4, FP4 E2M1, MXINT4, MXFP4} at 4 bits, selected offline by reconstruction error. An architectural fork adapts the same selection layer to multi-step UNets, single-step distilled models, and Diffusion Transformers. Across SDXL, SDXL-Turbo, and PixArt-$α$ on COCO-2014, Chameleon achieves the best FID in all six backbone $\times$ bit-width settings, with CLIP within 0.24 of the FP16 reference and the best of all quantized methods at $W_{4}A_{8}$.
• Abstract（参考訳）: 後学習量子化(PTQ)は、メモリ制約付き加速器上で現代的な拡散モデルを実行する標準的な方法であるが、既存の拡散PTQスキームは、事前に$\mathit{number\ format}$を定め、スケール、ゼロ点、またはビット幅あたりの調整のみを行う。 固定ビット幅では、最適なフォーマットは符号化される分布に依存し、その分布は重みチャネル、層間、拡散時間経過によって異なる。 本稿では,ビット幅を固定したPTQフレームワークであるChameleonを提案する。 アクティベーションフォーマットは {INT8, FP8 E4M3, FP8 E5M2, MXFP8, MXINT8} で、2つの安価な統計値(経験的クルトシスと閉形式拡散SNR)から前倒しに選択されルックアップテーブルに格納され、重量フォーマットは {INT8, MXINT8} の8ビット、または {INT4, NF4, FP4 E2M1, MXINT4, MXFP4} の4ビットで、復元エラーによってオフラインに選択される。 アーキテクチャフォークは、同じ選択層をマルチステップUNET、単一ステップ蒸留モデル、拡散変換器に適合させる。 SDXL、SDXL-Turbo、PixArt-$α$のCOCO-2014において、ChameleonはFP16参照の0.24未満のCLIPと$W_{4}A_{8}$の量子化メソッドで最高のFIDを達成する。

関連論文リスト

• FourTune: Towards Fully 4-Bit Efficient Post-Training for Diffusion Models [50.66675248468456]
  FourTuneは、エンドツーエンドのW4A4G4パラダイムに基づいた拡散モデルのための効率的な後トレーニングフレームワークである。 FourTuneはメモリオーバーヘッドを2.25$times$に減らし、エンドツーエンドのトレーニングスループットをBF16 LoRAと比較して2.27$times$にする。
  論文  参考訳（メタデータ） (2026-07-07T00:34:30Z)
• SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference [4.219937026460372]
  SharQは、オンラインスパース-デンス分解による活性化空間とFP4量子化を橋渡しする。 スパースFP4 GEMMはバックボーンを処理し、密度の高いFP4 GEMMはマスク誘起活性化損失とスパースパス量子化誤差の両方を補償する。
  論文  参考訳（メタデータ） (2026-06-25T04:19:04Z)
• Holding the FP8 Quality Ceiling at 8-Bit Weights and Activations: INT8 and GGUF Post-Training Quantization of Ideogram 4.0 for Consumer GPUs [0.08599681538174887]
  9.3Bフローベース拡散変圧器(DiT)Ideogram 4.0の学習後量子化について検討する。 我々は、Ideogramの公開キャプション仕様に組み込んだ拡張器によって生成されたスキーマ値プロンプトに基づいて、すべての変種を評価する。 We release the INT8 W8A8 and GG Q4_K Quantized weights on Hugging under a gated, non-commercial license。
  論文  参考訳（メタデータ） (2026-06-10T16:19:49Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• LLM-FP4: 4-Bit Floating-Point Quantized Transformers [38.23587031169402]
  大規模言語モデル(LLM)における重みとアクティベーションを4ビット浮動小数点値まで定量化するLLM-FP4を提案する。 整数量子化と比較すると、浮動小数点(FP)量子化はより柔軟であり、長い尾や鐘のような分布を扱うことができる。 LLaMA-13Bの重みとアクティベーションの両方を4ビットに定量化し,平均スコア63.1を得る。
  論文  参考訳（メタデータ） (2023-10-25T17:59:32Z)
• Integer or Floating Point? New Outlooks for Low-Bit Quantization on Large Language Models [17.055400141733124]
  低ビット整数形式(例えばINT8/INT4)は、大規模言語モデル(LLM)の従来の選択肢である。 低ビット浮動小数点フォーマット(例えばFP8/FP4)は魅力的な代替手段であり、NVIDIAのH100 GPUのような最先端ハードウェアからサポートを受けている。 本稿では,階層的に最適なフォーマットを選択するMoFQ(Mixture of Formats Quantization)を提案する。
  論文  参考訳（メタデータ） (2023-05-21T05:28:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。