論文の概要: MaGNET: Uniform Sampling from Deep Generative Network Manifolds Without
Retraining
- arxiv url: http://arxiv.org/abs/2110.08009v1
- Date: Fri, 15 Oct 2021 11:12:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 12:54:06.793444
- Title: MaGNET: Uniform Sampling from Deep Generative Network Manifolds Without
Retraining
- Title（参考訳）: magnet: 再訓練を行わないディープジェネレーティブネットワーク多様体からの均一サンプリング
- Authors: Ahmed Imtiaz Humayun, Randall Balestriero, Richard Baraniuk
- Abstract要約: 我々は、DGNが訓練された場合、学習多様体上に均一に分布するサンプルを生成する、微分幾何学に基づくサンプリング器、MaGNETを開発した。
我々は,この手法がトレーニングセットの分布によらず,多様体上の一様分布を生成することを理論的かつ実証的に証明する。
- 参考スコア（独自算出の注目度）: 9.294580808320534
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep Generative Networks (DGNs) are extensively employed in Generative
Adversarial Networks (GANs), Variational Autoencoders (VAEs), and their
variants to approximate the data manifold, and data distribution on that
manifold. However, training samples are often obtained based on preferences,
costs, or convenience producing artifacts in the empirical data distribution
e.g., the large fraction of smiling faces in the CelebA dataset or the large
fraction of dark-haired individuals in FFHQ. These inconsistencies will be
reproduced when sampling from the trained DGN, which has far-reaching potential
implications for fairness, data augmentation, anomaly detection, domain
adaptation, and beyond. In response, we develop a differential geometry based
sampler -- coined MaGNET -- that, given any trained DGN, produces samples that
are uniformly distributed on the learned manifold. We prove theoretically and
empirically that our technique produces a uniform distribution on the manifold
regardless of the training set distribution. We perform a range of experiments
on various datasets and DGNs. One of them considers the state-of-the-art
StyleGAN2 trained on FFHQ dataset, where uniform sampling via MaGNET increases
distribution precision and recall by 4.1% & 3.0% and decreases gender bias by
41.2%, without requiring labels or retraining.
- Abstract（参考訳）: Deep Generative Networks (DGNs) は、GAN(Generative Adversarial Networks)、VAE(VAEs)、およびデータ多様体の近似やその多様体上のデータ分布に広く利用されている。
しかし、トレーニングサンプルは、例えば、celebaデータセットの笑顔の顔の比率やffhqの黒髪の個人の割合など、経験的データ分散において、好み、コスト、利便性に基づいて得られることが多い。
これらの矛盾は、公正性、データ拡張、異常検出、ドメイン適応など、はるかに大きな可能性を持つトレーニングされたDGNからのサンプリングによって再現される。
これに反応して、DGNが訓練された場合、学習多様体上に一様に分布するサンプルを生成する、微分幾何学に基づくサンプル(MaGNET)を開発する。
本手法は, トレーニング集合分布によらず, 多様体上の一様分布を生成できることを理論的および実証的に証明する。
さまざまなデータセットやDGNでさまざまな実験を行います。
FFHQデータセットでトレーニングされた最先端のStyleGAN2では、MaGNETによる一様サンプリングが分布精度を4.1%と3.0%増加させ、ラベルや再トレーニングを必要とせずに性別バイアスを41.2%減少させる。
関連論文リスト
- Deep Generative Sampling in the Dual Divergence Space: A Data-efficient & Interpretative Approach for Generative AI [29.13807697733638]
自然画像の生成的サンプリングにおける顕著な成果の上に構築する。
我々は、画像に似たサンプルを生成するという、画期的な挑戦を、潜在的に過度に野心的に提案する。
統計上の課題は、小さなサンプルサイズであり、時には数百人の被験者で構成されている。
論文 参考訳（メタデータ） (2024-04-10T22:35:06Z) - FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。
最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。
凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
論文 参考訳（メタデータ） (2024-02-27T15:53:15Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳（メタデータ） (2023-07-23T03:53:53Z) - Class-Balancing Diffusion Models [57.38599989220613]
クラスバランシング拡散モデル(CBDM)は、分散調整正規化器をソリューションとして訓練する。
提案手法は,CIFAR100/CIFAR100LTデータセットで生成結果をベンチマークし,下流認識タスクにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2023-04-30T20:00:14Z) - LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral
Image Generation with Variance Regularization [72.4394510913927]
ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。
GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。
この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。
本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
論文 参考訳（メタデータ） (2023-04-29T00:25:02Z) - WILDS: A Benchmark of in-the-Wild Distribution Shifts [157.53410583509924]
分散シフトは、ワイルドにデプロイされた機械学習システムの精度を実質的に低下させることができる。
分散シフトの多様な範囲を反映した8つのベンチマークデータセットのキュレーションコレクションであるWILDSを紹介します。
本研究は, 標準訓練の結果, 分布性能よりも, 分布域外性能が有意に低下することを示す。
論文 参考訳（メタデータ） (2020-12-14T11:14:56Z) - Lessons Learned from the Training of GANs on Artificial Datasets [0.0]
GAN(Generative Adversarial Networks)は,近年,現実的な画像の合成において大きな進歩を遂げている。
GANは不適合や過度に適合する傾向があり、分析が困難で制約を受ける。
無限に多くのサンプルがあり、実際のデータ分布は単純である人工データセットでトレーニングする。
GANのトレーニング混合物はネットワークの深さや幅を増大させるよりもパフォーマンスが向上することがわかった。
論文 参考訳（メタデータ） (2020-07-13T14:51:02Z) - The Bures Metric for Generative Adversarial Networks [10.69910379275607]
GAN(Generative Adversarial Networks)は、高品質なサンプルを生成する高性能な生成手法である。
実バッチの多様性と偽バッチの多様性を一致させることを提案する。
多様性マッチングはモード崩壊を著しく低減し, サンプル品質に肯定的な影響を及ぼす。
論文 参考訳（メタデータ） (2020-06-16T12:04:41Z) - Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。
新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
論文 参考訳（メタデータ） (2020-06-16T03:43:59Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-02-24T11:35:28Z) - Brainstorming Generative Adversarial Networks (BGANs): Towards
Multi-Agent Generative Models with Distributed Private Datasets [70.62568022925971]
生成的敵ネットワーク(GAN)は、データ空間を適切に表現する大規模なデータセットによって供給されなければならない。
多くのシナリオでは、利用可能なデータセットは制限され、複数のエージェントに分散する可能性がある。
本稿では,BGAN(Breepstorming GAN)アーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-02-02T02:58:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。