論文の概要: Toward Understanding Generative Data Augmentation
- arxiv url: http://arxiv.org/abs/2305.17476v1
- Date: Sat, 27 May 2023 13:46:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 18:55:32.798270
- Title: Toward Understanding Generative Data Augmentation
- Title（参考訳）: 生成データ拡張の理解に向けて
- Authors: Chenyu Zheng, Guoqiang Wu, Chongxuan Li
- Abstract要約: 生成データの増大は、発散項の順序が$o(maxleft( log(m)beta_m, 1 / sqrtm)right)$である場合、より高速に学習できることを示す。
いずれの場合も、生成データの増大は学習速度の速さを損なうものではないが、列車セットが小さい場合、一定のレベルで学習保証を改善することができることを証明している。
- 参考スコア（独自算出の注目度）: 16.204251285425478
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative data augmentation, which scales datasets by obtaining fake labeled
examples from a trained conditional generative model, boosts classification
performance in various learning tasks including (semi-)supervised learning,
few-shot learning, and adversarially robust learning. However, little work has
theoretically investigated the effect of generative data augmentation. To fill
this gap, we establish a general stability bound in this not independently and
identically distributed (non-i.i.d.) setting, where the learned distribution is
dependent on the original train set and generally not the same as the true
distribution. Our theoretical result includes the divergence between the
learned distribution and the true distribution. It shows that generative data
augmentation can enjoy a faster learning rate when the order of divergence term
is $o(\max\left( \log(m)\beta_m, 1 / \sqrt{m})\right)$, where $m$ is the train
set size and $\beta_m$ is the corresponding stability constant. We further
specify the learning setup to the Gaussian mixture model and generative
adversarial nets. We prove that in both cases, though generative data
augmentation does not enjoy a faster learning rate, it can improve the learning
guarantees at a constant level when the train set is small, which is
significant when the awful overfitting occurs. Simulation results on the
Gaussian mixture model and empirical results on generative adversarial nets
support our theoretical conclusions. Our code is available at
https://github.com/ML-GSAI/Understanding-GDA.
- Abstract（参考訳）: トレーニングされた条件付き生成モデルから偽のラベル付き例を取得してデータセットをスケールする生成データ拡張は、(半)教師付き学習、少数ショット学習、敵対的ロバストな学習など、さまざまな学習タスクの分類性能を高める。
しかし、生成データ増強の効果を理論的に研究する研究はほとんどない。
このギャップを埋めるために、学習された分布が元の列車集合に依存し、一般には真の分布と同一でないような、独立で同じ分布(非等化)の設定に縛られる一般的な安定性を確立する。
我々の理論的結果は、学習分布と真の分布の相違を含む。
生成データの増大は、発散項の順序が $o(\max\left( \log(m)\beta_m, 1 / \sqrt{m})\right)$ であるとき、より高速な学習率を享受できることを示し、$m$ は列車のセットサイズであり、$\beta_m$ は対応する安定性定数である。
さらに,gaussian mixed modelとgenerative adversarial netsへの学習設定を指定する。
いずれの場合も、生成データの増大は学習速度の速さを損なうものではないが、列車セットが小さい場合の学習保証を一定レベル改善することができることが証明されている。
ガウス混合モデルのシミュレーション結果と生成逆数ネットの実証結果は、我々の理論的な結論を支持する。
私たちのコードはhttps://github.com/ML-GSAI/Understanding-GDAで公開されています。
関連論文リスト
- Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。
最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。
凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
論文 参考訳（メタデータ） (2024-02-27T15:53:15Z) - Collaborative Learning with Different Labeling Functions [7.228285747845779]
我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。
データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
論文 参考訳（メタデータ） (2024-02-16T04:32:22Z) - SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。
スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。
スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
論文 参考訳（メタデータ） (2023-11-30T03:05:14Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳（メタデータ） (2023-07-23T03:53:53Z) - Characterizing Datapoints via Second-Split Forgetting [93.99363547536392]
我々は、オリジナルのトレーニング例が忘れられた後(もしあれば)のエポックを追跡する補足的メトリックである$$-second-$split$$forgetting$$$time$ (SSFT)を提案する。
例えば$mislabeled$の例はすぐに忘れられ、$rare$の例は比較的ゆっくりと忘れられています。
SSFTは、(i)間違ったラベル付きサンプルを識別し、その除去により一般化が向上し、(ii)障害モードに関する洞察を提供する。
論文 参考訳（メタデータ） (2022-10-26T21:03:46Z) - Class Balancing GAN with a Classifier in the Loop [58.29090045399214]
本稿では,GANを学習するための理論的動機付けクラスバランス正則化器を提案する。
我々の正規化器は、訓練済みの分類器からの知識を利用して、データセット内のすべてのクラスのバランスの取れた学習を確実にします。
複数のデータセットにまたがる既存手法よりも優れた性能を達成し,長期分布の学習表現における正規化器の有用性を実証する。
論文 参考訳（メタデータ） (2021-06-17T11:41:30Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Linear Regression with Distributed Learning: A Generalization Error
Perspective [0.0]
大規模線形回帰のための分散学習の性能を検討する。
我々は、一般化エラー、すなわち、見当たらないデータのパフォーマンスに焦点を当てる。
その結果、分散ソリューションの一般化誤差は、集中ソリューションの一般化誤差よりも大幅に高いことが示された。
論文 参考訳（メタデータ） (2021-01-22T08:43:28Z) - Imbalanced Data Learning by Minority Class Augmentation using Capsule
Adversarial Networks [31.073558420480964]
本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。
我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。
カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
論文 参考訳（メタデータ） (2020-04-05T12:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。