論文の概要: Adaptive Data-Free Quantization
- arxiv url: http://arxiv.org/abs/2303.06869v1
- Date: Mon, 13 Mar 2023 05:37:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 16:24:50.180418
- Title: Adaptive Data-Free Quantization
- Title(参考訳): 適応型データフリー量子化
- Authors: Biao Qian, Yang Wang, Richang Hong, Meng Wang
- Abstract要約: データフリー量子化(DFQ)は、実データにアクセスせずに量子化されたネットワーク(Q)の性能を回復する。
DFQは、代わりに完全精度ネットワーク(P)から学習することで、ジェネレータ(G)を介して偽のサンプルを生成する。
そこで本研究では,DFQをゼロサムゲームとして再構成した適応型データ自由量子化(AdaDFQ)法を提案する。
- 参考スコア(独自算出の注目度): 44.00726062583708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-free quantization (DFQ) recovers the performance of quantized network
(Q) without accessing the real data, but generates the fake sample via a
generator (G) by learning from full-precision network (P) instead. However,
such sample generation process is totally independent of Q, overlooking the
adaptability of the knowledge from generated samples, i.e., informative or not
to the learning process of Q, resulting into the overflow of generalization
error. Building on this, several critical questions -- how to measure the
sample adaptability to Q under varied bit-width scenarios? how to generate the
samples with large adaptability to improve Q's generalization? whether the
largest adaptability is the best? To answer the above questions, in this paper,
we propose an Adaptive Data-Free Quantization (AdaDFQ) method, which
reformulates DFQ as a zero-sum game upon the sample adaptability between two
players -- a generator and a quantized network. Following this viewpoint, we
further define the disagreement and agreement samples to form two boundaries,
where the margin is optimized to address the over-and-under fitting issues, so
as to generate the samples with the desirable adaptability to Q. Our AdaDFQ
reveals: 1) the largest adaptability is NOT the best for sample generation to
benefit Q's generalization; 2) the knowledge of the generated sample should not
be informative to Q only, but also related to the category and distribution
information of the training data for P. The theoretical and empirical analysis
validate the advantages of AdaDFQ over the state-of-the-arts. Our code is
available at https: github.com/hfutqian/AdaDFQ.
- Abstract(参考訳): データフリー量子化(dfq)は、実データにアクセスせずに量子化ネットワーク(q)の性能を回復するが、代わりに全精度ネットワーク(p)から学習し、ジェネレータ(g)を介して偽のサンプルを生成する。
しかし、そのようなサンプル生成過程はQとは全く独立であり、生成したサンプル、すなわちQの学習過程への情報的か否かから知識の適応性を見極め、一般化誤差のオーバーフローをもたらす。
さまざまなビット幅シナリオの下でQに対するサンプル適応性を測定するには、どうすればよいのか?
Qの一般化を改善するために大きな適応性を持つサンプルを生成するには?
最大の適応性がベストなのか?
そこで,本稿では,2人のプレイヤー - ジェネレータと量子化ネットワーク - のサンプル適応性に基づいて,dfqをゼロサムゲームとして再構成する適応型データフリー量子化(adadfq)手法を提案する。
この観点から、さらに意見の不一致と合意のサンプルを2つの境界に定め、そこで利幅を過度に適合する問題に対処し、Qに好適な適合性を持つサンプルを生成するよう最適化する。
1)最大の適応性は、qの一般化に役立つサンプル生成にとって最善ではない。
2) 生成したサンプルの知識は, q に限らず,p の訓練データのカテゴリと分布情報にも関連し, adadfq の利点を実証する。
私たちのコードは、https: github.com/hfutqian/adadfqで利用可能です。
関連論文リスト
- QASnowball: An Iterative Bootstrapping Framework for High-Quality
Question-Answering Data Generation [67.27999343730224]
QAデータ拡張のための反復型ブートストラップフレームワーク(QASnowball)を導入する。
QASnowballは、教師付きサンプルのシードセットに基づいて、大規模で高品質なQAデータを反復的に生成することができる。
本研究では, 高資源の英語シナリオと中資源の中国語シナリオで実験を行い, 実験結果から, QASnowball が生成したデータによりQAモデルを容易に作成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-19T05:20:36Z) - Rethinking Data-Free Quantization as a Zero-Sum Game [44.00726062583708]
データ量子化(DFQ)は、実データにアクセスすることなく、量子化されたネットワーク(Q)の性能を回復する。
DFQは、代わりに完全精度ネットワーク(P)から学習することで、ジェネレータ(G)を介して偽のサンプルを生成する。
適応性のあるサンプルを生成するために,適応性のないサンプル生成法(AdaSG)を提案する。
論文 参考訳(メタデータ) (2023-02-19T13:22:40Z) - Improving Question Answering with Generation of NQ-like Questions [12.276281998447079]
QA ( Question Answering) システムは大量の注釈付きデータを必要とする。
本研究では,Quizbowl(QB)データセットの長いトリビア質問からNatural Questions(NQ)データセットにおいて,日々のコミュニケーションに似た短い質問を自動的に生成するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-10-12T21:36:20Z) - Improving Unsupervised Question Answering via Summarization-Informed
Question Generation [47.96911338198302]
質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、
我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。
得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
論文 参考訳(メタデータ) (2021-09-16T13:08:43Z) - A New Score for Adaptive Tests in Bayesian and Credal Networks [64.80185026979883]
テストは、そのシークエンスと質問数とが、テイカーの推定スキルに基づいて動的に調整されるときに適応する。
後部確率のモードに基づいて、別のスコアの族を提示するので、説明し易い。
論文 参考訳(メタデータ) (2021-05-25T20:35:42Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳(メタデータ) (2020-05-28T08:26:06Z) - Template-Based Question Generation from Retrieved Sentences for Improved
Unsupervised Question Answering [98.48363619128108]
擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。
関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2020-04-24T17:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。