論文の概要: Fairness Hub Technical Briefs: AUC Gap

• arxiv url: http://arxiv.org/abs/2309.12371v1
• Date: Wed, 20 Sep 2023 19:53:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 17:34:52.893437
• Title: Fairness Hub Technical Briefs: AUC Gap
• Title（参考訳）: Fairness Hub Technical Briefs: AUC Gap
• Authors: Jinsook Lee, Chris Brooks, Renzhe Yu, Rene Kizilcec
• Abstract要約: LEVIチームは、低所得の中学校で数学の達成を2倍にするという共通の目標を追求するために、幅広いAI/MLモデルを使用している。 多くの異なるコンテキストで収集されたデータセットに基づいてトレーニングされたモデルがバイアスを導入または増幅しないことを保証することは、LEVIの目標を達成する上で重要である。 ここでは、共通ベンチマークと分析ベースを作成するために、すべてのLEVIチームに対して、モデルバイアスの多用性と計算が容易な測定方法を提供しています。
• 参考スコア（独自算出の注目度）: 0.6827423171182154
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: To measure bias, we encourage teams to consider using AUC Gap: the absolute difference between the highest and lowest test AUC for subgroups (e.g., gender, race, SES, prior knowledge). It is agnostic to the AI/ML algorithm used and it captures the disparity in model performance for any number of subgroups, which enables non-binary fairness assessments such as for intersectional identity groups. The LEVI teams use a wide range of AI/ML models in pursuit of a common goal of doubling math achievement in low-income middle schools. Ensuring that the models, which are trained on datasets collected in many different contexts, do not introduce or amplify biases is important for achieving the LEVI goal. We offer here a versatile and easy-to-compute measure of model bias for all LEVI teams in order to create a common benchmark and an analytical basis for sharing what strategies have worked for different teams.
• Abstract（参考訳）: 偏見を測るために、私たちはAUC Gapの使用を検討することを奨励する: サブグループ(例えば、性別、人種、SES、事前知識)のAUCの最高と最低のテストの絶対差。 使用するAI/MLアルゴリズムとは無関係であり、任意のサブグループのモデル性能の相違を捉え、交差アイデンティティグループなどの非バイナリフェアネスアセスメントを可能にする。 LEVIチームは、低所得の中学校で数学の達成を2倍にするという共通の目標を追求するために、幅広いAI/MLモデルを使用している。 多くの異なるコンテキストで収集されたデータセットに基づいてトレーニングされたモデルがバイアスを導入または増幅しないことを保証することは、LEVIの目標を達成する上で重要である。 ここでは、共通ベンチマークと分析ベースを作成するために、すべてのLEVIチームに対して、モデルバイアスの多用性と計算が容易な測定方法を提供しています。

関連論文リスト

• Semi-Supervised One-Shot Imitation Learning [83.94646047695412]
  ワンショットのImitation Learningは、AIエージェントに1つのデモから新しいタスクを学ぶ能力を持たせることを目的としている。 我々は,学習エージェントにトラジェクトリの大規模なデータセットを提示する,半教師付きOSIL問題設定を導入する。 我々は,この半教師付きOSIL設定に適用可能なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-08-09T18:11:26Z)
• Improving Generalization of Alignment with Human Preferences through Group Invariant Learning [56.19242260613749]
  Reinforcement Learning from Human Feedback (RLHF) は、人間の好みに合わせた反応の生成を可能にする。 以前の研究は、強化学習(RL)がしばしばショートカットを利用して高い報酬を獲得し、挑戦的なサンプルを見落としていることを示している。 本稿では,複数のデータグループやドメインにまたがる一貫したポリシをRLで学習する,新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-18T13:54:15Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Change is Hard: A Closer Look at Subpopulation Shift [48.0369745740936]
  本稿では,部分群における共通シフトを識別し,説明する統一的なフレームワークを提案する。 次に、ビジョン、言語、医療領域の12の現実世界のデータセットで評価された20の最先端アルゴリズムのベンチマークを作成します。
  論文  参考訳（メタデータ） (2023-02-23T18:59:56Z)
• Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
  既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。 モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
  論文  参考訳（メタデータ） (2022-10-13T06:04:43Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
  本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。 提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T10:49:49Z)
• Fairness for AUC via Feature Augmentation [25.819342066717002]
  本研究では,受信機動作特性の曲線 (AUC) の下の領域で性能が測定される分類の文脈における公平さについて検討する。 識別可能なグループ間のバイアスを軽減するため,特徴増強(追加機能)に基づく新しいアプローチである FairAUC を開発した。
  論文  参考訳（メタデータ） (2021-11-24T22:32:19Z)
• Unified Group Fairness on Federated Learning [22.143427873780404]
  フェデレートラーニング(FL)は、グローバルモデルが分散クライアントのプライベートデータに基づいてトレーニングされる、重要な機械学習パラダイムとして登場した。 近年の研究では、顧客間の公平性に焦点が当てられているが、センシティブな属性(例えば、性別や人種)によって形成される異なるグループに対する公正性は無視されている。 本稿では,G-DRFA (Group Distributionally Robust Federated Averaging) と呼ばれる新しいFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-09T08:21:38Z)
• Few-shot Learning with Global Relatedness Decoupled-Distillation [47.78903405454224]
  本稿では,グローバルなカテゴリ知識とRDD戦略を用いたGlobal Relatedness Decoupled-Distillation(GRDD)手法を提案する。 我々のGRDDは、人間の習慣、すなわち教師から抽出された深い知識から学習することで、新しい視覚概念を素早く学習する。
  論文  参考訳（メタデータ） (2021-07-12T17:01:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。