論文の概要: Data-Free Group-Wise Fully Quantized Winograd Convolution via Learnable Scales

• arxiv url: http://arxiv.org/abs/2412.19867v1
• Date: Fri, 27 Dec 2024 09:05:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:44.674647
• Title: Data-Free Group-Wise Fully Quantized Winograd Convolution via Learnable Scales
• Title（参考訳）: 学習可能なスケールによるデータフリーグループワイズ完全量子化ウィノグラード畳み込み
• Authors: Shuokai Pan, Gerti Tuzi, Sudarshan Sreeram, Dibakar Gope,
• Abstract要約: 拡散モデルの量子化は、計算コストとメモリ帯域幅の使用量を削減するために近年研究されている。 テキスト・ツー・イメージ生成タスクでは、Winogradによる8ビット完全量子化拡散モデルにより、ほぼロスレスな品質が得られる。 画像分類では,最先端のWinograd PTQ 法を 1.62% と 2.56% で上回っている。
• 参考スコア（独自算出の注目度）: 4.1966303054440655
• License:
• Abstract: Despite the revolutionary breakthroughs of large-scale textto-image diffusion models for complex vision and downstream tasks, their extremely high computational and storage costs limit their usability. Quantization of diffusion models has been explored in recent works to reduce compute costs and memory bandwidth usage. To further improve inference time, fast convolution algorithms such as Winograd can be used for convolution layers, which account for a significant portion of computations in diffusion models. However, the significant quality loss of fully quantized Winograd using existing coarser-grained post-training quantization methods, combined with the complexity and cost of finetuning the Winograd transformation matrices for such large models to recover quality, makes them unsuitable for large-scale foundation models. Motivated by the presence of a large range of values in them, we investigate the impact of finer-grained group-wise quantization in quantizing diffusion models. While group-wise quantization can largely handle the fully quantized Winograd convolution, it struggles to deal with the large distribution imbalance in a sizable portion of the Winograd domain computation. To reduce range differences in the Winograd domain, we propose finetuning only the scale parameters of the Winograd transform matrices without using any domain-specific training data. Because our method does not depend on any training data, the generalization performance of quantized diffusion models is safely guaranteed. For text-to-image generation task, the 8-bit fully-quantized diffusion model with Winograd provides near-lossless quality (FID and CLIP scores) in comparison to the full-precision model. For image classification, our method outperforms the state-of-the-art Winograd PTQ method by 1.62% and 2.56% in top-1 ImageNet accuracy on ResNet18 and ResNet-34, respectively, with Winograd F(6, 3).
• Abstract（参考訳）: 複雑な視覚と下流タスクのための大規模なテキスト画像拡散モデルの革新的なブレークスルーにもかかわらず、その計算と記憶のコストは非常に高い。 拡散モデルの量子化は、計算コストとメモリ帯域幅の使用量を削減するために近年研究されている。 推論時間を改善するために、ウィノグラードのような高速な畳み込みアルゴリズムは、拡散モデルにおける計算のかなりの部分を占める畳み込み層に利用できる。 しかし、既存の粗粒化後量子化手法を用いた完全量子化ウィノグラードの有意な品質損失と、そのような大規模モデルのウィノグラード変換行列を微調整して品質を回復させる複雑さとコストが相まって、大規模な基礎モデルには適さない。 そこで我々は, 拡散モデルの量子化において, より微細な群量子化が与える影響について検討した。 グループワイド量子化は、完全に量子化されたウィノグラードの畳み込みを主に扱うことができるが、ウィノグラード領域の計算において、大きな分布不均衡を扱うのに苦労する。 領域固有のトレーニングデータを用いることなく、ウィノグラード変換行列のスケールパラメータのみを微調整することを提案する。 本手法はトレーニングデータに依存しないので,量子化拡散モデルの一般化性能を安全に保証する。 テキスト・ツー・イメージ生成タスクでは、Winogradによる8ビット完全量子化拡散モデルが、完全精度モデルと比較して、ほぼロスレス品質(FIDとCLIPスコア)を提供する。 画像分類では、Winograd F(6, 3) を用いて、ResNet18 と ResNet-34 上のトップ-1 ImageNet の精度において、最先端の Winograd PTQ 法を1.62% と 2.56% で上回っている。

関連論文リスト

• PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [95.98801201266099]
  拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。 本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。 我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
  論文  参考訳（メタデータ） (2024-11-26T04:49:42Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• Exploring Winograd Convolution for Cost-effective Neural Network Fault Tolerance [14.588891723027892]
  ウィノグラードの畳み込みは、標準の畳み込みよりも正確さを失うことなく、平均して55.77%の耐故障設計オーバーヘッドを減らすことができる。 フォールト・アウェア・リトレーニングと制約付きアクティベーション関数によって強化されたフォールト・トレラントニューラルネットワークに適用した場合、モデル精度は一般的に、様々な障害の存在において顕著に改善されている。
  論文  参考訳（メタデータ） (2023-08-16T09:03:13Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Low-Rank Winograd Transformation for 3D Convolutional Neural Networks [25.236436823266203]
  本稿では,3次元畳み込みニューラルネットワーク(CNN)におけるWinograd変換について述べる。 低ランクなウィノグラード変換は、元の大きなテンソルをより少ない2つのトレーニング可能なテンソルに分解する新しい訓練パラダイムである。 提案した低ランク配向スパース粒度は,バニラに比べて実用的なウィノグラード加速を可能にすることを示す。
  論文  参考訳（メタデータ） (2023-01-26T15:44:22Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Uncovering the Over-smoothing Challenge in Image Super-Resolution: Entropy-based Quantification and Contrastive Optimization [67.99082021804145]
  我々はDetail Enhanced Contrastive Loss (DECLoss)と呼ばれるCOO問題に対する明確な解決策を提案する。 DECLossはコントラスト学習のクラスタリング特性を利用して、潜在的な高分解能分布の分散を直接的に低減する。 我々は複数の超高解像度ベンチマーク上でDECLosを評価し,PSNR指向モデルの知覚品質を向上させることを実証した。
  論文  参考訳（メタデータ） (2022-01-04T08:30:09Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)
• LANCE: Efficient Low-Precision Quantized Winograd Convolution for Neural Networks Based on Graphics Processing Units [6.110973485878557]
  我々は,高速畳み込みと量子化の利点を組み合わせた,LANCEと呼ばれる高速な低精度量子化ウィノグラード畳み込みアルゴリズムを提案する。 8ビットの量子化Winograd畳み込みは、精度の低下を伴う完全精度畳み込みよりも最大2.40倍の性能向上を示す。
  論文  参考訳（メタデータ） (2020-03-19T09:46:50Z)
• Searching for Winograd-aware Quantized Networks [12.351250944079949]
  我々は、ウィノグラード変換によって導入された数値的不正確さを明らかにする畳み込み層のウィノグラード対応の定式化を提案する。 また, 数値誤差の原因にも対処し, 変換行列の形状を緩和し, CIFAR-10の分類精度を最大10%向上させる手法を提案する。
  論文  参考訳（メタデータ） (2020-02-25T07:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。