論文の概要: Removing Bias from Maximum Likelihood Estimation with Model Autophagy

• arxiv url: http://arxiv.org/abs/2405.13977v1
• Date: Wed, 22 May 2024 20:24:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 20:14:01.754707
• Title: Removing Bias from Maximum Likelihood Estimation with Model Autophagy
• Title（参考訳）: モデルオートファジーによる最大嗜好推定からのバイアス除去
• Authors: Paul Mayer, Lorenzo Luzi, Ali Siahkoohi, Don H. Johnson, Richard G. Baraniuk,
• Abstract要約: オートファジーによるペナル化確率推定(PLE)を提案する。 PLEは、モデルオートファジー障害 (madness) に対してより公平で感受性の低い最大推定(MLE)に対するバイアスのない代替品である。
• 参考スコア（独自算出の注目度）: 21.024727486615646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose autophagy penalized likelihood estimation (PLE), an unbiased alternative to maximum likelihood estimation (MLE) which is more fair and less susceptible to model autophagy disorder (madness). Model autophagy refers to models trained on their own output; PLE ensures the statistics of these outputs coincide with the data statistics. This enables PLE to be statistically unbiased in certain scenarios where MLE is biased. When biased, MLE unfairly penalizes minority classes in unbalanced datasets and exacerbates the recently discovered issue of self-consuming generative modeling. Theoretical and empirical results show that 1) PLE is more fair to minority classes and 2) PLE is more stable in a self-consumed setting. Furthermore, we provide a scalable and portable implementation of PLE with a hypernetwork framework, allowing existing deep learning architectures to be easily trained with PLE. Finally, we show PLE can bridge the gap between Bayesian and frequentist paradigms in statistics.
• Abstract（参考訳）: 本研究は, 自食性障害(肥満)のモデルとして, より公平で感受性の低い, 最大推定(MLE)に対する偏りのない代替案である, 自食性ペナル化推定(PLE)を提案する。 モデルオートファジー(英: Model autophagy)は、自身の出力でトレーニングされたモデルを指す。 これにより、MLEがバイアスのある特定のシナリオにおいて、PLEを統計的にバイアスなくすることができる。 バイアスがかかると、MLEは不均衡なデータセットで少数層を不公平に罰し、最近発見された自己消費生成モデリングの問題を悪化させる。 理論的および実証的な結果は 1)pleはマイノリティクラスに公平である。 2) PLEは自己消費環境ではより安定である。 さらに、ハイパーネットワークフレームワークによるPLEのスケーラブルでポータブルな実装を提供し、既存のディープラーニングアーキテクチャをPLEで簡単にトレーニングできるようにします。 最後に、pleは統計学におけるベイズ的パラダイムと頻繁主義パラダイムのギャップを埋めることができることを示す。

関連論文リスト

• Mitigating Nonlinear Algorithmic Bias in Binary Classification [0.0]
  本稿では,保護属性の非線形なバイアスの検出と緩和に因果モデリングを用いることを提案する。 若年者では「低リスク」と正しく分類される可能性が低いことを示す。 適応因果モデルに基づいて、偏り確率推定を計算し、全体の精度にほとんど影響を与えずに、公正性の向上を示す。
  論文  参考訳（メタデータ） (2023-12-09T01:26:22Z)
• Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
  我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。 ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。 これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
  論文  参考訳（メタデータ） (2023-11-28T16:46:14Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
  本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。 バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。 本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:49:09Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Fairness Reprogramming [42.65700878967251]
  モデル再プログラミング手法を取り入れたFairRe Programと呼ばれる新しい汎用フェアネス学習パラダイムを提案する。 具体的には、FairRe Programはモデルを変更することができず、フェアネストリガと呼ばれる一連の摂動を入力に追加するケースについて検討している。 我々は,固定MLモデルの出力予測において,公平性トリガが効果的に人口統計バイアスを曖昧にすることができることを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2022-09-21T09:37:00Z)
• Equivariance and Invariance Inductive Bias for Learning from Insufficient Data [65.42329520528223]
  不十分なデータがモデルを、通常テストとは異なる限られたトレーニング環境にバイアスしやすくする理由が示されています。 従来のIRMにおける環境アノテーションの欠如を効果的に解決するクラスワイド不変リスク最小化(IRM)を提案する。
  論文  参考訳（メタデータ） (2022-07-25T15:26:19Z)
• A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
  本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。 このアプローチは大量のバイアスに対して非常に堅牢であることを示す。 生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
  論文  参考訳（メタデータ） (2021-08-31T17:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。