論文の概要: Qimera: Data-free Quantization with Synthetic Boundary Supporting Samples

• arxiv url: http://arxiv.org/abs/2111.02625v1
• Date: Thu, 4 Nov 2021 04:52:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 12:12:33.358443
• Title: Qimera: Data-free Quantization with Synthetic Boundary Supporting Samples
• Title（参考訳）: qimera: 合成境界支援サンプルを用いたデータフリー量子化
• Authors: Kanghyun Choi, Deokki Hong, Noseong Park, Youngsok Kim, Jinho Lee
• Abstract要約: 人工境界支持試料を生成するために重ね合わせの潜伏埋め込みを用いたQimeraを提案する。 実験結果から,Qimeraはデータフリー量子化における各種設定に対して,最先端の性能を実現することが示された。
• 参考スコア（独自算出の注目度）: 8.975667614727652
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Model quantization is known as a promising method to compress deep neural networks, especially for inferences on lightweight mobile or edge devices. However, model quantization usually requires access to the original training data to maintain the accuracy of the full-precision models, which is often infeasible in real-world scenarios for security and privacy issues. A popular approach to perform quantization without access to the original data is to use synthetically generated samples, based on batch-normalization statistics or adversarial learning. However, the drawback of such approaches is that they primarily rely on random noise input to the generator to attain diversity of the synthetic samples. We find that this is often insufficient to capture the distribution of the original data, especially around the decision boundaries. To this end, we propose Qimera, a method that uses superposed latent embeddings to generate synthetic boundary supporting samples. For the superposed embeddings to better reflect the original distribution, we also propose using an additional disentanglement mapping layer and extracting information from the full-precision model. The experimental results show that Qimera achieves state-of-the-art performances for various settings on data-free quantization. Code is available at https://github.com/iamkanghyunchoi/qimera.
• Abstract（参考訳）: モデル量子化はディープニューラルネットワークを圧縮するための有望な方法として知られている。 しかし、モデル量子化は通常、セキュリティとプライバシに関する現実のシナリオでは実現不可能な、完全精度モデルの精度を維持するために、元のトレーニングデータにアクセスする必要がある。 元のデータにアクセスせずに量子化を行う一般的なアプローチは、バッチ正規化統計や逆学習に基づいて合成されたサンプルを使用することである。 しかし、このような手法の欠点は、主に合成サンプルの多様性を達成するために発生器に入力されるランダムノイズに依存することである。 これは多くの場合、特に決定境界に関して、元のデータの分布を捉えるには不十分である。 そこで我々は,合成境界支持試料を生成するために重ね合わせの潜伏埋め込みを用いたQimeraを提案する。 重畳埋め込みは, 元の分布をよりよく反映するため, 追加の異方性マッピング層を用い, 全精度モデルから情報を抽出することを提案する。 実験結果から,Qimeraはデータフリー量子化における各種設定に対して,最先端の性能を実現することが示された。 コードはhttps://github.com/iamkanghyunchoi/qimeraで入手できる。

関連論文リスト

• Data-Free Quantization via Mixed-Precision Compensation without Fine-Tuning [20.413801240717646]
  本研究では,データと微調整を伴わない超低精度量子化モデルの性能を回復するデータフリー混合精度補償法を提案する。 我々のDF-MPCは、データや微調整を伴わない最近の手法と比較して、超高精度量子化モデルの高精度化を実現している。
  論文  参考訳（メタデータ） (2023-07-02T07:16:29Z)
• Post-training Model Quantization Using GANs for Synthetic Data Generation [57.40733249681334]
  量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。 本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
  論文  参考訳（メタデータ） (2023-05-10T11:10:09Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
  我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。 パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
  論文  参考訳（メタデータ） (2022-01-28T12:00:31Z)
• Conditional Variational Autoencoder for Learned Image Reconstruction [5.487951901731039]
  本研究では,未知画像の後部分布を問合せ観測で近似する新しいフレームワークを開発する。 暗黙のノイズモデルと先行処理を処理し、データ生成プロセス(フォワード演算子)を組み込み、学習された再構成特性は異なるデータセット間で転送可能である。
  論文  参考訳（メタデータ） (2021-10-22T10:02:48Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)
• Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
  ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。 単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。 提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-06T19:30:32Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)
• Generative Low-bitwidth Data Free Quantization [44.613912463011545]
  本稿ではGDFQ(Generative Low-bitdth Data Free Quantization)を提案する。 生成したデータの助けを借りて、事前学習されたモデルから知識を学習することでモデルを定量化することができる。 提案手法は,既存のデータ自由量子化法よりも高精度な4ビット量子化を実現する。
  論文  参考訳（メタデータ） (2020-03-07T16:38:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。