論文の概要: Improving Fairness and Mitigating MADness in Generative Models
- arxiv url: http://arxiv.org/abs/2405.13977v2
- Date: Wed, 02 Oct 2024 14:01:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:18:17.328937
- Title: Improving Fairness and Mitigating MADness in Generative Models
- Title（参考訳）: 生成モデルにおける公平性の向上とMADの緩和
- Authors: Paul Mayer, Lorenzo Luzi, Ali Siahkoohi, Don H. Johnson, Richard G. Baraniuk,
- Abstract要約: 我々は、意図的に設計されたハイパーネットワークで生成モデルをトレーニングすると、マイノリティクラスに属するデータポイントを生成する際により公平なモデルが得られることを示す。
本稿では,実データと自己合成データとの差分を正規化する手法を提案する。
- 参考スコア（独自算出の注目度）: 21.024727486615646
- License:
- Abstract: Generative models unfairly penalize data belonging to minority classes, suffer from model autophagy disorder (MADness), and learn biased estimates of the underlying distribution parameters. Our theoretical and empirical results show that training generative models with intentionally designed hypernetworks leads to models that 1) are more fair when generating datapoints belonging to minority classes 2) are more stable in a self-consumed (i.e., MAD) setting, and 3) learn parameters that are less statistically biased. To further mitigate unfairness, MADness, and bias, we introduce a regularization term that penalizes discrepancies between a generative model's estimated weights when trained on real data versus its own synthetic data. To facilitate training existing deep generative models within our framework, we offer a scalable implementation of hypernetworks that automatically generates a hypernetwork architecture for any given generative model.
- Abstract（参考訳）: 生成モデルはマイノリティクラスに属するデータを不公平にペナルティ化し、モデルオートファジー障害(MADness)に悩まされ、基礎となる分布パラメータのバイアスのある推定値を学ぶ。
我々の理論的および実証的な結果は、意図的に設計されたハイパーネットワークによる生成モデルのトレーニングが、モデルに繋がることを示している。
1)マイノリティクラスに属するデータポイントを生成する場合、より公平である
2) 自己消費(すなわちMAD)設定においてより安定であり、かつ
3)統計的バイアスの少ないパラメータを学習する。
さらに不公平さ、MAD性、偏見を緩和するために、生成モデルの推定重量と実データと自身の合成データとの相違を罰する正規化項を導入する。
フレームワーク内で既存の深層生成モデルのトレーニングを容易にするため、任意の生成モデルに対してハイパーネットワークアーキテクチャを自動的に生成するハイパーネットワークの実装をスケーラブルに提供します。
関連論文リスト
- Constrained Diffusion Models via Dual Training [80.03953599062365]
我々は,要求に応じて所望の分布に基づいて制約付き拡散モデルを開発する。
本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
論文 参考訳（メタデータ） (2024-08-27T14:25:42Z) - Fairness Feedback Loops: Training on Synthetic Data Amplifies Bias [47.79659355705916]
モデル誘導分散シフト(MIDS)は、以前のモデルが代々のモデルに対して汚染された新しいモデルトレーニングセットを出力するときに発生する。
我々は,複数世代にわたるMIDSの追跡を可能にするフレームワークを導入し,性能,公平性,少数化グループ表現の損失につながることを確認した。
これらの否定的な結果にもかかわらず、モデルがデータエコシステムにおけるポジティブで意図的な介入にどのように使用されるかを特定します。
論文 参考訳（メタデータ） (2024-03-12T17:48:08Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
混合データセットに対する生成モデルの訓練が与える影響について検討する。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
論文 参考訳（メタデータ） (2023-09-30T16:41:04Z) - Fair GANs through model rebalancing for extremely imbalanced class
distributions [5.463417677777276]
本稿では,既存のバイアス付きGANからGAN(unbiased generative adversarial Network)を構築するためのアプローチを提案する。
Flickr Faces High Quality (FFHQ) データセットを用いて、人種的公平性をトレーニングしながら、StyleGAN2モデルの結果を示す。
また,不均衡なCIFAR10データセットに適用することで,我々のアプローチをさらに検証する。
論文 参考訳（メタデータ） (2023-08-16T19:20:06Z) - Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。
異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。
このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
論文 参考訳（メタデータ） (2023-03-30T17:30:42Z) - Fairness Reprogramming [42.65700878967251]
モデル再プログラミング手法を取り入れたFairRe Programと呼ばれる新しい汎用フェアネス学習パラダイムを提案する。
具体的には、FairRe Programはモデルを変更することができず、フェアネストリガと呼ばれる一連の摂動を入力に追加するケースについて検討している。
我々は,固定MLモデルの出力予測において,公平性トリガが効果的に人口統計バイアスを曖昧にすることができることを理論的および実証的に示す。
論文 参考訳（メタデータ） (2022-09-21T09:37:00Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳（メタデータ） (2021-06-06T00:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。