論文の概要: Fair Generative Models via Transfer Learning

• arxiv url: http://arxiv.org/abs/2212.00926v1
• Date: Fri, 2 Dec 2022 01:44:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 17:53:48.987125
• Title: Fair Generative Models via Transfer Learning
• Title（参考訳）: 転送学習による公平な生成モデル
• Authors: Christopher TH Teo, Milad Abdollahzadeh, Ngai-Man Cheung
• Abstract要約: 公平な生成モデルを学ぶための伝達学習手法である FairTL を提案する。 i) 複数フィードバック, (ii) 線形プロブリング, 次いでファインチューニングの2つの改良点を紹介した。 大規模な実験により、fairTLとfairTL++は、生成されたサンプルの品質と公平性の両方において最先端を実現している。
• 参考スコア（独自算出の注目度）: 39.12323728810492
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This work addresses fair generative models. Dataset biases have been a major cause of unfairness in deep generative models. Previous work had proposed to augment large, biased datasets with small, unbiased reference datasets. Under this setup, a weakly-supervised approach has been proposed, which achieves state-of-the-art quality and fairness in generated samples. In our work, based on this setup, we propose a simple yet effective approach. Specifically, first, we propose fairTL, a transfer learning approach to learn fair generative models. Under fairTL, we pre-train the generative model with the available large, biased datasets and subsequently adapt the model using the small, unbiased reference dataset. We find that our fairTL can learn expressive sample generation during pre-training, thanks to the large (biased) dataset. This knowledge is then transferred to the target model during adaptation, which also learns to capture the underlying fair distribution of the small reference dataset. Second, we propose fairTL++, where we introduce two additional innovations to improve upon fairTL: (i) multiple feedback and (ii) Linear-Probing followed by Fine-Tuning (LP-FT). Taking one step further, we consider an alternative, challenging setup when only a pre-trained (potentially biased) model is available but the dataset that was used to pre-train the model is inaccessible. We demonstrate that our proposed fairTL and fairTL++ remain very effective under this setup. We note that previous work requires access to the large, biased datasets and is incapable of handling this more challenging setup. Extensive experiments show that fairTL and fairTL++ achieve state-of-the-art in both quality and fairness of generated samples. The code and additional resources can be found at bearwithchris.github.io/fairTL/.
• Abstract（参考訳）: この仕事は、公正な生成モデルに対処する。 データセットバイアスは、深層生成モデルにおける不公平の主な原因である。 以前の研究は、小さな偏りのない参照データセットで大きく偏りのあるデータセットを強化することを提案した。 この設定の下で、生成したサンプルの最先端の品質と公平性を達成する弱い教師付きアプローチが提案されている。 この設定に基づいて、我々は単純だが効果的なアプローチを提案する。 具体的には,まず,公平な生成モデルを学ぶためのトランスファー学習手法であるfairtlを提案する。 FairTLの下では、利用可能な大きなバイアス付きデータセットで生成モデルを事前訓練し、その後、小さなバイアスなし参照データセットを使用してモデルを適応する。 大規模な(バイアスのある)データセットのおかげで,事前トレーニング中に表現型サンプル生成を学習できることが分かりました。 この知識は、適応中にターゲットモデルに転送され、小さな参照データセットの公平な分布を捉えることも学習される。 次に、fairtl++を提案し、fairtlで改善するための2つのイノベーションを紹介します。 (i)複数のフィードバックと (二)リニアプロービング、ファインチューニング(LP-FT) さらに一歩進めて、事前トレーニングされた(潜在的にバイアスのある)モデルのみが利用可能だが、モデルの事前トレーニングに使用されたデータセットがアクセス不能である場合に、代替的で困難なセットアップを検討する。 提案した FairTL と FairTL++ は,この設定下でも有効であることを示す。 以前の作業では、大きく偏ったデータセットへのアクセスが必要であり、このより困難なセットアップを処理できないことに注意する。 大規模な実験により、fairTLとfairTL++は、生成されたサンプルの品質と公平性の両方において最先端を実現している。 コードと追加リソースは bearwithchris.github.io/fairtl/ にある。

関連論文リスト

• Universality in Transfer Learning for Linear Models [18.427215139020625]
  回帰モデルと二分分類モデルの両方を対象とした線形モデルにおける伝達学習の問題点について検討する。 我々は、厳密かつ厳密な分析を行い、事前訓練されたモデルと微調整されたモデルに対する一般化誤差(回帰)と分類誤差(二分分類)を関連付ける。
  論文  参考訳（メタデータ） (2024-10-03T03:09:09Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Fair GANs through model rebalancing for extremely imbalanced class distributions [5.463417677777276]
  本稿では,既存のバイアス付きGANからGAN(unbiased generative adversarial Network)を構築するためのアプローチを提案する。 Flickr Faces High Quality (FFHQ) データセットを用いて、人種的公平性をトレーニングしながら、StyleGAN2モデルの結果を示す。 また,不均衡なCIFAR10データセットに適用することで,我々のアプローチをさらに検証する。
  論文  参考訳（メタデータ） (2023-08-16T19:20:06Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)
• BiFair: Training Fair Models with Bilevel Optimization [8.2509884277533]
  我々は,ユーティリティの最小化と公正な関心の喪失を両立させる,BiFairという新しいトレーニングアルゴリズムを開発した。 我々のアルゴリズムは、常により良い性能、すなわち、与えられた公正度メトリックのより優れた値、あるいはより高い精度で到達する。
  論文  参考訳（メタデータ） (2021-06-03T22:36:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。