論文の概要: StableQ: Enhancing Data-Scarce Quantization with Text-to-Image Data
- arxiv url: http://arxiv.org/abs/2312.05272v1
- Date: Thu, 7 Dec 2023 23:31:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 21:57:18.860793
- Title: StableQ: Enhancing Data-Scarce Quantization with Text-to-Image Data
- Title(参考訳): stableq: テキストから画像へのデータによるデータスカルス量子化の強化
- Authors: Yuhang Li, Youngeun Kim, Donghyun Lee, Priyadarshini Panda
- Abstract要約: トレーニングデータは、しばしばプライバシーや著作権の懸念にさらされる。
StbaleQはゼロショットと少数ショットの量子化の両方で新しいベンチマークを設定する。
- 参考スコア(独自算出の注目度): 29.997607082849463
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Though low-bit quantization enables efficient storage and inference of deep
neural networks, it often requires the use of training data to maintain
resilience against quantization errors. However, training data are frequently
subject to privacy or copyright concerns. In this work, we address the
challenge of Data-Scarce Quantization, where access to training data is
severely limited or non-existent for quantization purposes. Conventional
approaches typically rely on inverting dummy images or jointly training
generative models to produce synthetic input samples. However, these methods
struggle to accurately recreate complex objects in large-scale datasets like
ImageNet. To overcome these limitations, we introduce StableQ, a novel method
that utilizes an advanced text-to-image diffusion model to generate
high-resolution, photo-realistic synthetic data. To verify the quality of the
generated data, we implement two robust filtering mechanisms. These mechanisms
are designed to select images that closely resemble the intrinsic
characteristics of the actual training data. Furthermore, in scenarios where
limited training data are available, we use these data to guide the synthetic
data generation process by inverting a learnable token embedding in the text
encoder. Our extensive experimental results demonstrate that StbaleQ sets a new
benchmark in both zero-shot and few-shot quantization, outperforming existing
methods in terms of accuracy and efficiency.
- Abstract(参考訳): 低ビット量子化はディープニューラルネットワークの効率的なストレージと推論を可能にするが、量子化エラーに対するレジリエンスを維持するためにトレーニングデータを使用する必要がある。
しかし、トレーニングデータはしばしばプライバシーや著作権の懸念にさらされる。
本稿では,トレーニングデータへのアクセスが極めて制限されたり,量子化目的に存在しないデータ化の課題に対処する。
従来のアプローチでは、ダミー画像を反転させるか、合成入力サンプルを生成するために共同で生成モデルを訓練する。
しかし、これらの手法はImageNetのような大規模データセットで複雑なオブジェクトを正確に再現するのに苦労している。
これらの限界を克服するために,高度なテキストから画像への拡散モデルを用いて高分解能なフォトリアリスティックな合成データを生成する新しい手法であるstableqを提案する。
生成したデータの品質を検証するため、2つの堅牢なフィルタリング機構を実装した。
これらのメカニズムは、実際のトレーニングデータの固有特性によく似た画像を選択するように設計されている。
さらに、限られたトレーニングデータが利用可能なシナリオでは、テキストエンコーダに埋め込まれた学習可能なトークンを反転させることで、これらのデータを使用して合成データ生成プロセスをガイドします。
広範な実験結果から,stbaleqはゼロショットと少数ショットの量子化の両方において新しいベンチマークを設定し,従来の手法よりも精度と効率において優れていた。
関連論文リスト
- Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。
ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
論文 参考訳(メタデータ) (2024-09-27T16:02:12Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳(メタデータ) (2023-05-16T07:30:29Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳(メタデータ) (2023-05-10T11:10:09Z) - PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。
次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
論文 参考訳(メタデータ) (2023-03-31T18:03:53Z) - IB-UQ: Information bottleneck based uncertainty quantification for
neural function regression and neural operator learning [11.5992081385106]
本稿では,科学的機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しいフレームワークを提案する。
我々は,入力データの信頼度に応じて,入力を潜在表現に符号化する信頼認識エンコーダによってボトルネックを埋め込む。
また,外挿不確かさの質を高めるために,データ拡張に基づく情報ボトルネック目標を提案する。
論文 参考訳(メタデータ) (2023-02-07T05:56:42Z) - Augmented Bilinear Network for Incremental Multi-Stock Time-Series
Classification [83.23129279407271]
本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。
本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。
この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
論文 参考訳(メタデータ) (2022-07-23T18:54:10Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳(メタデータ) (2022-04-30T06:58:56Z) - Diverse Sample Generation: Pushing the Limit of Data-free Quantization [85.95032037447454]
本稿では,データ不要なポストトレーニング量子化と量子化学習のための汎用的な2次サンプル生成手法を提案する。
大規模な画像分類タスクでは、DSGは既存のデータ自由量子化手法より一貫して優れている。
論文 参考訳(メタデータ) (2021-09-01T07:06:44Z) - Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。
これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。
強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文 参考訳(メタデータ) (2021-03-29T01:33:34Z) - Generative Low-bitwidth Data Free Quantization [44.613912463011545]
本稿ではGDFQ(Generative Low-bitdth Data Free Quantization)を提案する。
生成したデータの助けを借りて、事前学習されたモデルから知識を学習することでモデルを定量化することができる。
提案手法は,既存のデータ自由量子化法よりも高精度な4ビット量子化を実現する。
論文 参考訳(メタデータ) (2020-03-07T16:38:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。