論文の概要: Rethinking Data-Free Quantization as a Zero-Sum Game

• arxiv url: http://arxiv.org/abs/2302.09572v1
• Date: Sun, 19 Feb 2023 13:22:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 17:52:28.161172
• Title: Rethinking Data-Free Quantization as a Zero-Sum Game
• Title（参考訳）: ゼロサムゲームとしてのデータフリー量子化の再考
• Authors: Biao Qian, Yang Wang, Richang Hong and Meng Wang
• Abstract要約: データ量子化(DFQ)は、実データにアクセスすることなく、量子化されたネットワーク(Q)の性能を回復する。 DFQは、代わりに完全精度ネットワーク(P)から学習することで、ジェネレータ(G)を介して偽のサンプルを生成する。 適応性のあるサンプルを生成するために,適応性のないサンプル生成法(AdaSG)を提案する。
• 参考スコア（独自算出の注目度）: 44.00726062583708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-free quantization (DFQ) recovers the performance of quantized network (Q) without accessing the real data, but generates the fake sample via a generator (G) by learning from full-precision network (P) instead. However, such sample generation process is totally independent of Q, specialized as failing to consider the adaptability of the generated samples, i.e., beneficial or adversarial, over the learning process of Q, resulting into non-ignorable performance loss. Building on this, several crucial questions -- how to measure and exploit the sample adaptability to Q under varied bit-width scenarios? how to generate the samples with desirable adaptability to benefit the quantized network? -- impel us to revisit DFQ. In this paper, we answer the above questions from a game-theory perspective to specialize DFQ as a zero-sum game between two players -- a generator and a quantized network, and further propose an Adaptability-aware Sample Generation (AdaSG) method. Technically, AdaSG reformulates DFQ as a dynamic maximization-vs-minimization game process anchored on the sample adaptability. The maximization process aims to generate the sample with desirable adaptability, such sample adaptability is further reduced by the minimization process after calibrating Q for performance recovery. The Balance Gap is defined to guide the stationarity of the game process to maximally benefit Q. The theoretical analysis and empirical studies verify the superiority of AdaSG over the state-of-the-arts. Our code is available at https://github.com/hfutqian/AdaSG.
• Abstract（参考訳）: データフリー量子化(dfq)は、実データにアクセスせずに量子化ネットワーク(q)の性能を回復するが、代わりに全精度ネットワーク(p)から学習し、ジェネレータ(g)を介して偽のサンプルを生成する。 しかし、そのようなサンプル生成過程はQとは全く独立であり、Qの学習過程よりも生成したサンプル、すなわち有益または敵対的な適応性を考慮せず、非無視的な性能損失をもたらす。 さまざまなビット幅シナリオの下でQに対するサンプル適応性を計測し、活用するにはどうすればよいのか? 量子化されたネットワークに 最適な適応性を持つサンプルを 生成する方法は? --dfqを再訪させてください。 本稿では,ゲーム理論的な観点から,dfqを2人のプレイヤー - ジェネレータと量子化ネットワーク - 間のゼロサムゲームとして専門化し,さらに適応性アウェアサンプル生成 (adasg) 法を提案する。 技術的には、AdaSGはDFQをサンプル適応性に固定された動的最大化vs最小化ゲームプロセスとして再構成する。 最大化処理は、好適な適応性を有するサンプルを生成することを目的としており、性能回復のためにQを校正した後の最小化処理により、サンプル適応性がさらに低減される。 バランスギャップは、ゲームプロセスの定常性がqを最大限に有益に導くために定義され、理論分析と実証研究は、最先端技術に対するadasgの優位性を検証する。 私たちのコードはhttps://github.com/hfutqian/adasgで利用可能です。

関連論文リスト

• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting [13.270381125055275]
  本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。 我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。 例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
  論文  参考訳（メタデータ） (2023-12-17T02:31:20Z)
• EQ-Net: Elastic Quantization Neural Networks [15.289359357583079]
  Elastic Quantization Neural Networks (EQ-Net) は、堅牢な重み共有量子化スーパーネットのトレーニングを目的としている。 本稿では, 様々な主要な量形式に対応するために, 弾性量子化空間(弾性ビット幅, 粒度, 対称性を含む)を提案する。 遺伝的アルゴリズムと,提案した条件量子化対応条件精度予測器(CQAP)を推定器として組み込んで,混合精度量子ニューラルネットワークを高速に探索する。
  論文  参考訳（メタデータ） (2023-08-15T08:57:03Z)
• Adaptive Data-Free Quantization [44.00726062583708]
  データフリー量子化(DFQ)は、元のデータなしで量子化されたネットワーク(Q)の性能を回復する。 DFQは、全精度ネットワークから学習して、ジェネレータ(G)を介して偽サンプルを生成する(P)。 ゼロサムゲームの観点からDFQを再検討するAdaptive Data-Free Quantization (AdaDFQ)法を提案する。
  論文  参考訳（メタデータ） (2023-03-13T05:37:40Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Deep Non-Crossing Quantiles through the Partial Derivative [0.6299766708197883]
  量子回帰(Quantile Regression)は、単一の条件量子を近似する方法を提供する。 QRロス関数の最小化は、非交差量子化を保証しない。 任意の数の量子を予測するための汎用的なディープラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-30T15:35:21Z)
• Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
  地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。 サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。 サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
  論文  参考訳（メタデータ） (2020-06-11T16:19:16Z)
• Feature Quantization Improves GAN Training [126.02828112121874]
  識別器の特徴量子化(FQ)は、真と偽のデータの両方を共有離散空間に埋め込む。 本手法は,既存のGANモデルに容易に接続でき,訓練における計算オーバーヘッドがほとんどない。
  論文  参考訳（メタデータ） (2020-04-05T04:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。