論文の概要: GenQ: Quantization in Low Data Regimes with Generative Synthetic Data
- arxiv url: http://arxiv.org/abs/2312.05272v2
- Date: Fri, 8 Mar 2024 22:15:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 14:58:21.400130
- Title: GenQ: Quantization in Low Data Regimes with Generative Synthetic Data
- Title(参考訳): GenQ: 生成合成データを用いた低データレジームの量子化
- Authors: Yuhang Li, Youngeun Kim, Donghyun Lee, Souvik Kundu, Priyadarshini
Panda
- Abstract要約: GenQは、高度な生成AIモデルを使用して高解像度の合成データを生成する新しいアプローチである。
データの可用性が限られている場合、実際のデータは合成データ生成プロセスのガイドに使用される。
厳密な実験を通じて、GenQはデータフリーおよびデータスカース量子化の新しいベンチマークを確立する。
- 参考スコア(独自算出の注目度): 30.489005912126544
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the realm of deep neural network deployment, low-bit quantization presents
a promising avenue for enhancing computational efficiency. However, it often
hinges on the availability of training data to mitigate quantization errors, a
significant challenge when data availability is scarce or restricted due to
privacy or copyright concerns. Addressing this, we introduce GenQ, a novel
approach employing an advanced Generative AI model to generate photorealistic,
high-resolution synthetic data, overcoming the limitations of traditional
methods that struggle to accurately mimic complex objects in extensive datasets
like ImageNet. Our methodology is underscored by two robust filtering
mechanisms designed to ensure the synthetic data closely aligns with the
intrinsic characteristics of the actual training data. In case of limited data
availability, the actual data is used to guide the synthetic data generation
process, enhancing fidelity through the inversion of learnable token
embeddings. Through rigorous experimentation, GenQ establishes new benchmarks
in data-free and data-scarce quantization, significantly outperforming existing
methods in accuracy and efficiency, thereby setting a new standard for
quantization in low data regimes.
- Abstract(参考訳): ディープニューラルネットワークの展開において、低ビット量子化は計算効率を向上させるための有望な方法である。
しかし、量子化エラーを軽減するためのトレーニングデータの可用性は、プライバシや著作権上の懸念から、データの可用性が不足したり制限されたりする場合に、大きな課題となることが多い。
これに対処するために、我々は、高度な生成AIモデルを用いてフォトリアリスティックで高解像度の合成データを生成する新しいアプローチであるGenQを紹介し、ImageNetのような広範囲なデータセットで複雑なオブジェクトを正確に模倣するのに苦労する従来の手法の限界を克服する。
本手法は,2つの頑健なフィルタリング機構により,合成データが実際のトレーニングデータの固有特性と密接に一致することを保証する。
データ可用性が制限された場合、実際のデータは合成データ生成プロセスのガイドに使用され、学習可能なトークン埋め込みの反転によって忠実性を高める。
厳密な実験を通じて、GenQはデータフリーおよびデータスカース量子化の新しいベンチマークを確立し、既存の手法を精度と効率で大幅に上回っている。
関連論文リスト
- Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A
Comprehensive Benchmark [56.8042116967334]
合成データは、機械学習モデルのトレーニングの代替となる。
合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。
本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
論文 参考訳(メタデータ) (2023-10-25T20:32:02Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳(メタデータ) (2023-05-16T07:30:29Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳(メタデータ) (2023-05-10T11:10:09Z) - Augmented Bilinear Network for Incremental Multi-Stock Time-Series
Classification [83.23129279407271]
本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。
本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。
この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
論文 参考訳(メタデータ) (2022-07-23T18:54:10Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳(メタデータ) (2022-04-30T06:58:56Z) - Diverse Sample Generation: Pushing the Limit of Data-free Quantization [85.95032037447454]
本稿では,データ不要なポストトレーニング量子化と量子化学習のための汎用的な2次サンプル生成手法を提案する。
大規模な画像分類タスクでは、DSGは既存のデータ自由量子化手法より一貫して優れている。
論文 参考訳(メタデータ) (2021-09-01T07:06:44Z) - Towards Synthetic Multivariate Time Series Generation for Flare
Forecasting [5.098461305284216]
データ駆動・レアイベント予測アルゴリズムのトレーニングにおける制限要因の1つは、関心のあるイベントの不足である。
本研究では,データインフォームド・オーバーサンプリングを行う手段として,条件付き生成逆数ネットワーク(CGAN)の有用性を検討する。
論文 参考訳(メタデータ) (2021-05-16T22:23:23Z) - Zero-shot Adversarial Quantization [11.722728148523366]
ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。
これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。
強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
論文 参考訳(メタデータ) (2021-03-29T01:33:34Z) - Foundations of Bayesian Learning from Synthetic Data [1.6249267147413522]
我々はベイズパラダイムを用いて、合成データから学習する際のモデルパラメータの更新を特徴付ける。
ベイジアン・アップデートの最近の成果は、決定理論に基づく新しい、堅牢な合成学習のアプローチを支持している。
論文 参考訳(メタデータ) (2020-11-16T21:49:17Z) - Generative Low-bitwidth Data Free Quantization [44.613912463011545]
本稿ではGDFQ(Generative Low-bitdth Data Free Quantization)を提案する。
生成したデータの助けを借りて、事前学習されたモデルから知識を学習することでモデルを定量化することができる。
提案手法は,既存のデータ自由量子化法よりも高精度な4ビット量子化を実現する。
論文 参考訳(メタデータ) (2020-03-07T16:38:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。