論文の概要: Removing Bias from Maximum Likelihood Estimation with Model Autophagy

• arxiv url: http://arxiv.org/abs/2405.13977v1
• Date: Wed, 22 May 2024 20:24:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 20:14:01.754707
• Title: Removing Bias from Maximum Likelihood Estimation with Model Autophagy
• Title（参考訳）: モデルオートファジーによる最大嗜好推定からのバイアス除去
• Authors: Paul Mayer, Lorenzo Luzi, Ali Siahkoohi, Don H. Johnson, Richard G. Baraniuk,
• Abstract要約: オートファジーによるペナル化確率推定(PLE)を提案する。 PLEは、モデルオートファジー障害 (madness) に対してより公平で感受性の低い最大推定(MLE)に対するバイアスのない代替品である。
• 参考スコア（独自算出の注目度）: 21.024727486615646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose autophagy penalized likelihood estimation (PLE), an unbiased alternative to maximum likelihood estimation (MLE) which is more fair and less susceptible to model autophagy disorder (madness). Model autophagy refers to models trained on their own output; PLE ensures the statistics of these outputs coincide with the data statistics. This enables PLE to be statistically unbiased in certain scenarios where MLE is biased. When biased, MLE unfairly penalizes minority classes in unbalanced datasets and exacerbates the recently discovered issue of self-consuming generative modeling. Theoretical and empirical results show that 1) PLE is more fair to minority classes and 2) PLE is more stable in a self-consumed setting. Furthermore, we provide a scalable and portable implementation of PLE with a hypernetwork framework, allowing existing deep learning architectures to be easily trained with PLE. Finally, we show PLE can bridge the gap between Bayesian and frequentist paradigms in statistics.
• Abstract（参考訳）: 本研究は, 自食性障害(肥満)のモデルとして, より公平で感受性の低い, 最大推定(MLE)に対する偏りのない代替案である, 自食性ペナル化推定(PLE)を提案する。 モデルオートファジー(英: Model autophagy)は、自身の出力でトレーニングされたモデルを指す。 これにより、MLEがバイアスのある特定のシナリオにおいて、PLEを統計的にバイアスなくすることができる。 バイアスがかかると、MLEは不均衡なデータセットで少数層を不公平に罰し、最近発見された自己消費生成モデリングの問題を悪化させる。 理論的および実証的な結果は 1)pleはマイノリティクラスに公平である。 2) PLEは自己消費環境ではより安定である。 さらに、ハイパーネットワークフレームワークによるPLEのスケーラブルでポータブルな実装を提供し、既存のディープラーニングアーキテクチャをPLEで簡単にトレーニングできるようにします。 最後に、pleは統計学におけるベイズ的パラダイムと頻繁主義パラダイムのギャップを埋めることができることを示す。

関連論文リスト

• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Fairness Feedback Loops: Training on Synthetic Data Amplifies Bias [47.79659355705916]
  モデル誘導分散シフト(MIDS)は、以前のモデルが代々のモデルに対して汚染された新しいモデルトレーニングセットを出力するときに発生する。 我々は,複数世代にわたるMIDSの追跡を可能にするフレームワークを導入し,性能,公平性,少数化グループ表現の損失につながることを確認した。 これらの否定的な結果にもかかわらず、モデルがデータエコシステムにおけるポジティブで意図的な介入にどのように使用されるかを特定します。
  論文  参考訳（メタデータ） (2024-03-12T17:48:08Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• Fair GANs through model rebalancing for extremely imbalanced class distributions [5.463417677777276]
  本稿では,既存のバイアス付きGANからGAN(unbiased generative adversarial Network)を構築するためのアプローチを提案する。 Flickr Faces High Quality (FFHQ) データセットを用いて、人種的公平性をトレーニングしながら、StyleGAN2モデルの結果を示す。 また,不均衡なCIFAR10データセットに適用することで,我々のアプローチをさらに検証する。
  論文  参考訳（メタデータ） (2023-08-16T19:20:06Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Fairness Reprogramming [42.65700878967251]
  モデル再プログラミング手法を取り入れたFairRe Programと呼ばれる新しい汎用フェアネス学習パラダイムを提案する。 具体的には、FairRe Programはモデルを変更することができず、フェアネストリガと呼ばれる一連の摂動を入力に追加するケースについて検討している。 我々は,固定MLモデルの出力予測において,公平性トリガが効果的に人口統計バイアスを曖昧にすることができることを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2022-09-21T09:37:00Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。