論文の概要: StableQ: Enhancing Data-Scarce Quantization with Text-to-Image Data
- arxiv url: http://arxiv.org/abs/2312.05272v1
- Date: Thu, 7 Dec 2023 23:31:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 21:57:18.860793
- Title: StableQ: Enhancing Data-Scarce Quantization with Text-to-Image Data
- Title(参考訳): stableq: テキストから画像へのデータによるデータスカルス量子化の強化
- Authors: Yuhang Li, Youngeun Kim, Donghyun Lee, Priyadarshini Panda
- Abstract要約: トレーニングデータは、しばしばプライバシーや著作権の懸念にさらされる。
StbaleQはゼロショットと少数ショットの量子化の両方で新しいベンチマークを設定する。
- 参考スコア(独自算出の注目度): 29.997607082849463
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Though low-bit quantization enables efficient storage and inference of deep
neural networks, it often requires the use of training data to maintain
resilience against quantization errors. However, training data are frequently
subject to privacy or copyright concerns. In this work, we address the
challenge of Data-Scarce Quantization, where access to training data is
severely limited or non-existent for quantization purposes. Conventional
approaches typically rely on inverting dummy images or jointly training
generative models to produce synthetic input samples. However, these methods
struggle to accurately recreate complex objects in large-scale datasets like
ImageNet. To overcome these limitations, we introduce StableQ, a novel method
that utilizes an advanced text-to-image diffusion model to generate
high-resolution, photo-realistic synthetic data. To verify the quality of the
generated data, we implement two robust filtering mechanisms. These mechanisms
are designed to select images that closely resemble the intrinsic
characteristics of the actual training data. Furthermore, in scenarios where
limited training data are available, we use these data to guide the synthetic
data generation process by inverting a learnable token embedding in the text
encoder. Our extensive experimental results demonstrate that StbaleQ sets a new
benchmark in both zero-shot and few-shot quantization, outperforming existing
methods in terms of accuracy and efficiency.
- Abstract(参考訳): 低ビット量子化はディープニューラルネットワークの効率的なストレージと推論を可能にするが、量子化エラーに対するレジリエンスを維持するためにトレーニングデータを使用する必要がある。
しかし、トレーニングデータはしばしばプライバシーや著作権の懸念にさらされる。
本稿では,トレーニングデータへのアクセスが極めて制限されたり,量子化目的に存在しないデータ化の課題に対処する。
従来のアプローチでは、ダミー画像を反転させるか、合成入力サンプルを生成するために共同で生成モデルを訓練する。
しかし、これらの手法はImageNetのような大規模データセットで複雑なオブジェクトを正確に再現するのに苦労している。
これらの限界を克服するために,高度なテキストから画像への拡散モデルを用いて高分解能なフォトリアリスティックな合成データを生成する新しい手法であるstableqを提案する。
生成したデータの品質を検証するため、2つの堅牢なフィルタリング機構を実装した。
これらのメカニズムは、実際のトレーニングデータの固有特性によく似た画像を選択するように設計されている。
さらに、限られたトレーニングデータが利用可能なシナリオでは、テキストエンコーダに埋め込まれた学習可能なトークンを反転させることで、これらのデータを使用して合成データ生成プロセスをガイドします。
広範な実験結果から,stbaleqはゼロショットと少数ショットの量子化の両方において新しいベンチマークを設定し,従来の手法よりも精度と効率において優れていた。
関連論文リスト
- Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A
Comprehensive Benchmark [56.8042116967334]
合成データは、機械学習モデルのトレーニングの代替となる。
合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。
本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
論文 参考訳(メタデータ) (2023-10-25T20:32:02Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳(メタデータ) (2023-05-16T07:30:29Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳(メタデータ) (2023-05-10T11:10:09Z) - Augmented Bilinear Network for Incremental Multi-Stock Time-Series
Classification [83.23129279407271]
本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。
本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。
この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
論文 参考訳(メタデータ) (2022-07-23T18:54:10Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳(メタデータ) (2022-04-30T06:58:56Z) - Diverse Sample Generation: Pushing the Limit of Data-free Quantization [85.95032037447454]
本稿では,データ不要なポストトレーニング量子化と量子化学習のための汎用的な2次サンプル生成手法を提案する。
大規模な画像分類タスクでは、DSGは既存のデータ自由量子化手法より一貫して優れている。
論文 参考訳(メタデータ) (2021-09-01T07:06:44Z) - Towards Synthetic Multivariate Time Series Generation for Flare
Forecasting [5.098461305284216]
データ駆動・レアイベント予測アルゴリズムのトレーニングにおける制限要因の1つは、関心のあるイベントの不足である。
本研究では,データインフォームド・オーバーサンプリングを行う手段として,条件付き生成逆数ネットワーク(CGAN)の有用性を検討する。
論文 参考訳(メタデータ) (2021-05-16T22:23:23Z) - Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。
これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。
強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文 参考訳(メタデータ) (2021-03-29T01:33:34Z) - Foundations of Bayesian Learning from Synthetic Data [1.6249267147413522]
我々はベイズパラダイムを用いて、合成データから学習する際のモデルパラメータの更新を特徴付ける。
ベイジアン・アップデートの最近の成果は、決定理論に基づく新しい、堅牢な合成学習のアプローチを支持している。
論文 参考訳(メタデータ) (2020-11-16T21:49:17Z) - Generative Low-bitwidth Data Free Quantization [44.613912463011545]
本稿ではGDFQ(Generative Low-bitdth Data Free Quantization)を提案する。
生成したデータの助けを借りて、事前学習されたモデルから知識を学習することでモデルを定量化することができる。
提案手法は,既存のデータ自由量子化法よりも高精度な4ビット量子化を実現する。
論文 参考訳(メタデータ) (2020-03-07T16:38:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。