論文の概要: Learning by Grouping: A Multilevel Optimization Framework for Improving
Fairness in Classification without Losing Accuracy
- arxiv url: http://arxiv.org/abs/2304.00486v1
- Date: Sun, 2 Apr 2023 08:45:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 17:49:23.892922
- Title: Learning by Grouping: A Multilevel Optimization Framework for Improving
Fairness in Classification without Losing Accuracy
- Title（参考訳）: グループ化による学習: 精度を損なうことなく分類の公平性を改善する多段階最適化フレームワーク
- Authors: Ramtin Hosseini, Li Zhang, Bhanu Garg, Pengtao Xie
- Abstract要約: 場合によっては、特定の社会集団に対する偏見や差別を示すことによって、AIシステムは不公平である場合もある。
そこで我々は,MLモデルを学習し,様々な問題集合を個別のサブグループに分類し,各サブグループを解く新しい機械学習フレームワークを提案する。
提案するフレームワークは,3段階の最適化問題として定式化された3段階の学習を含む。
- 参考スコア（独自算出の注目度）: 19.84719054826755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The integration of machine learning models in various real-world applications
is becoming more prevalent to assist humans in their daily decision-making
tasks as a result of recent advancements in this field. However, it has been
discovered that there is a tradeoff between the accuracy and fairness of these
decision-making tasks. In some cases, these AI systems can be unfair by
exhibiting bias or discrimination against certain social groups, which can have
severe consequences in real life. Inspired by one of the most well-known human
learning skills called grouping, we address this issue by proposing a novel
machine learning framework where the ML model learns to group a diverse set of
problems into distinct subgroups to solve each subgroup using its specific
sub-model. Our proposed framework involves three stages of learning, which are
formulated as a three-level optimization problem: (i) learning to group
problems into different subgroups; (ii) learning group-specific sub-models for
problem-solving; and (iii) updating group assignments of training examples by
minimizing the validation loss. These three learning stages are performed
end-to-end in a joint manner using gradient descent. To improve fairness and
accuracy, we develop an efficient optimization algorithm to solve this
three-level optimization problem. To further reduce the risk of overfitting in
small datasets, we incorporate domain adaptation techniques in the second stage
of training. We further apply our method to neural architecture search.
Extensive experiments on various datasets demonstrate our method's
effectiveness and performance improvements in both fairness and accuracy. Our
proposed Learning by Grouping can reduce overfitting and achieve
state-of-the-art performances with fixed human-designed network architectures
and searchable network architectures on various datasets.
- Abstract（参考訳）: 機械学習モデルの様々な実世界のアプリケーションへの統合は、この分野での最近の進歩の結果、人間の日常的な意思決定タスクを支援することが一般的になりつつある。
しかし、これらの意思決定タスクの正確性と公平性にはトレードオフがあることが判明した。
場合によっては、これらのAIシステムは特定の社会集団に対する偏見や差別を示すことによって不公平になり、現実の生活において深刻な結果をもたらす可能性がある。
グループ化(grouping)と呼ばれる、最もよく知られた人間の学習スキルの1つに触発されて、mlモデルがさまざまな問題の集合を個別のサブグループにグループ化し、それぞれのサブグループを特定のサブモデルで解決する新しい機械学習フレームワークを提案することで、この問題に対処します。
提案するフレームワークは,3段階の最適化問題として定式化された3段階の学習を含む。
(i)問題を異なるサブグループにグループ化する学習
(ii)問題解決のための学習グループ固有のサブモデル
(iii)検証損失の最小化によるトレーニング例のグループ割り当ての更新。
これら3つの学習段階は勾配降下を用いてエンドツーエンドで共同で行われる。
公平性と精度を向上させるため,この3段階最適化問題を解くための最適化アルゴリズムを開発した。
小規模データセットのオーバーフィットリスクをさらに低減するため,第2段階のトレーニングにドメイン適応技術を導入する。
さらに,本手法をニューラルネットワーク探索に適用する。
各種データセットに対する大規模な実験により,本手法の有効性と精度の向上が示された。
提案するLearning by Groupingは,人間設計のネットワークアーキテクチャや,さまざまなデータセット上で検索可能なネットワークアーキテクチャを用いて,オーバーフィットを低減し,最先端のパフォーマンスを実現する。
関連論文リスト
- TSceneJAL: Joint Active Learning of Traffic Scenes for 3D Object Detection [26.059907173437114]
TSceneJALフレームワークはラベル付きデータとラベルなしデータの両方から、バランスのとれた、多様性のある、複雑なトラフィックシーンを効率的にサンプリングすることができる。
提案手法は,3次元オブジェクト検出タスクにおける既存の最先端手法よりも12%向上した。
論文 参考訳（メタデータ） (2024-12-25T11:07:04Z) - A study on a Q-Learning algorithm application to a manufacturing
assembly problem [0.8937905773981699]
本研究では,対象物の集合問題に対する強化学習アルゴリズムの実装に焦点を当てた。
環境との連続的な相互作用からQ値の行列(Q-table)を学習することを考慮して,モデルフリーQ-Learningアルゴリズムを適用した。
最適化アプローチは、98.3%の時間で最適なアセンブリシーケンスを学習することで、非常に有望な結果を得た。
論文 参考訳（メタデータ） (2023-04-17T15:38:34Z) - Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。
伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。
アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
論文 参考訳（メタデータ） (2023-01-26T18:58:07Z) - Domain Adaptation Principal Component Analysis: base linear method for
learning with out-of-distribution data [55.41644538483948]
ドメイン適応は現代の機械学習において一般的なパラダイムである。
ドメイン適応主成分分析(DAPCA)という手法を提案する。
DAPCAは、領域適応タスクの解決に有用な線形化データ表現を見つける。
論文 参考訳（メタデータ） (2022-08-28T21:10:56Z) - On the Convergence of Distributed Stochastic Bilevel Optimization
Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。
既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。
そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-30T05:29:52Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Multi-model Ensemble Learning Method for Human Expression Recognition [31.76775306959038]
本研究では,大量の実生活データを収集するアンサンブル学習法に基づく手法を提案する。
ABAW2022 ChallengeのAffWild2データセット上で多くの実験を行い、本ソリューションの有効性を実証した。
論文 参考訳（メタデータ） (2022-03-28T03:15:06Z) - Small-Group Learning, with Application to Neural Architecture Search [17.86826990290058]
人間の学習では、学生の小さなグループが同じ学習目標に向かって協力し、そこでトピックに対する理解を仲間に表現し、アイデアを比較し、互いにトラブルシュートを手助けします。
本稿では,新しいMLフレームワークであるSGL(Small-group Learning)を開発することにより,機械学習モデルを改善するために,この人的学習手法を借用できるかどうかを検討することを目的とする。
sglは、3つの学習段階からなる多レベル最適化フレームワークとして定式化されている: 各学習者は独立してモデルを訓練し、このモデルを使って擬似ラベルを実行する。
論文 参考訳（メタデータ） (2020-12-23T05:56:47Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳（メタデータ） (2020-06-12T12:23:50Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。