論文の概要: Is Fairness Only Metric Deep? Evaluating and Addressing Subgroup Gaps in
Deep Metric Learning
- arxiv url: http://arxiv.org/abs/2203.12748v1
- Date: Wed, 23 Mar 2022 22:20:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-25 12:42:51.531442
- Title: Is Fairness Only Metric Deep? Evaluating and Addressing Subgroup Gaps in
Deep Metric Learning
- Title(参考訳): フェアネスはメートル法のみの深さか?
深層学習におけるサブグループギャップの評価と対応
- Authors: Natalie Dullerud, Karsten Roth, Kimia Hamidieh, Nicolas Papernot,
Marzyeh Ghassemi
- Abstract要約: 不均衡なデータに基づいて訓練された最先端のDML手法を評価する。
下流タスクに使用する場合、これらの表現が少数サブグループのパフォーマンスに負の影響を示す。
- 参考スコア(独自算出の注目度): 31.53816541779192
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep metric learning (DML) enables learning with less supervision through its
emphasis on the similarity structure of representations. There has been much
work on improving generalization of DML in settings like zero-shot retrieval,
but little is known about its implications for fairness. In this paper, we are
the first to evaluate state-of-the-art DML methods trained on imbalanced data,
and to show the negative impact these representations have on minority subgroup
performance when used for downstream tasks. In this work, we first define
fairness in DML through an analysis of three properties of the representation
space -- inter-class alignment, intra-class alignment, and uniformity -- and
propose finDML, the fairness in non-balanced DML benchmark to characterize
representation fairness. Utilizing finDML, we find bias in DML representations
to propagate to common downstream classification tasks. Surprisingly, this bias
is propagated even when training data in the downstream task is re-balanced. To
address this problem, we present Partial Attribute De-correlation (PARADE) to
de-correlate feature representations from sensitive attributes and reduce
performance gaps between subgroups in both embedding space and downstream
metrics.
- Abstract(参考訳): ディープメトリック学習(dml)は、表現の類似性構造を重視して、より少ない監督で学習を可能にする。
ゼロショット検索のような設定におけるDMLの一般化に関する多くの研究があるが、その妥当性についてはほとんど分かっていない。
本稿では,不均衡データにトレーニングされた最先端dml手法を最初に評価し,これらの表現が下流タスクに使用する場合のマイノリティサブグループ性能に与える影響を示す。
本研究では、まず、クラス間アライメント、クラス内アライメント、均一性という表現空間の3つの特性を解析し、非バランスなDMLベンチマークにおけるフェアネスであるfinDMLを提案する。
finDMLを用いることで、DML表現のバイアスが共通の下流分類タスクに伝播する。
驚くべきことに、このバイアスは下流タスクのトレーニングデータが再バランスされた場合でも伝播する。
この問題に対処するため, 部分属性デコリレーション(PARADE)を提案し, 特徴表現を機密属性から非相関化し, 埋め込み空間と下流メトリクスの両方におけるサブグループ間の性能ギャップを減らした。
関連論文リスト
- An Investigation of Representation and Allocation Harms in Contrastive
Learning [55.42336321517228]
比較学習 (CL) は, 少数集団と少数集団の表現を崩壊させる傾向にあることを示す。
本稿では,この現象を表現障害と呼び,対応するCL手法を用いて画像とテキストのデータセットに示す。
対照的な学習環境において,表現の崩壊につながるニューラルブロックモデルを用いて表現障害の理論的説明を行う。
論文 参考訳(メタデータ) (2023-10-02T19:25:37Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Model Debiasing via Gradient-based Explanation on Representation [14.673988027271388]
本稿では,デリケートな属性やプロキシな属性に関して,デバイアスを行う新しいフェアネスフレームワークを提案する。
我々のフレームワークは、過去の最先端のアプローチよりも、構造化されていないデータセットと構造化されたデータセットの公平性と正確なトレードオフを達成しています。
論文 参考訳(メタデータ) (2023-05-20T11:57:57Z) - Divide and Contrast: Source-free Domain Adaptation via Adaptive
Contrastive Learning [122.62311703151215]
Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。
DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。
さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
論文 参考訳(メタデータ) (2022-11-12T09:21:49Z) - Rethinking Prototypical Contrastive Learning through Alignment,
Uniformity and Correlation [24.794022951873156]
我々は、アライメント、均一性、相関(PAUC)を通して、プロトタイプ表現を学ぶことを提案する。
具体的には,(1)正の原型から埋め込みを抽出するアライメント損失,(2)原型レベルの特徴を均一に分配するアライメント損失,(3)原型レベルの特徴間の多様性と識別性を増大させる相関損失を補正する。
論文 参考訳(メタデータ) (2022-10-18T22:33:12Z) - Con$^{2}$DA: Simplifying Semi-supervised Domain Adaptation by Learning
Consistent and Contrastive Feature Representations [1.2891210250935146]
Con$2$DAは、半教師付き学習の最近の進歩を半教師付きドメイン適応問題に拡張するフレームワークである。
我々のフレームワークは、与えられた入力に対してデータ変換を行うことで、関連するサンプルのペアを生成する。
我々は、異なる損失関数を使用して、関連するデータペアのサンプルの特徴表現間の一貫性を強制します。
論文 参考訳(メタデータ) (2022-04-04T15:05:45Z) - Algorithmic Fairness Verification with Graphical Models [24.8005399877574]
本稿では,ベイズネットワークのような特徴間の相関を符号化する,FVGMと呼ばれる効率の良いフェアネス検証手法を提案する。
FVGMは、より多様なフェアネス向上アルゴリズムのファミリーに対して、正確でスケーラブルな評価をもたらすことを示す。
論文 参考訳(メタデータ) (2021-09-20T12:05:14Z) - Fairness via Representation Neutralization [60.90373932844308]
フェアネスのための表現中立化(Representation Neutralization for Fairness, RNF)という新たな緩和手法を提案する。
RNFは、DNNモデルのタスク固有の分類ヘッダのみをデバイアスすることで、その公平性を達成する。
複数のベンチマークデータセットに対する実験結果は、DNNモデルの識別を効果的に削減するRNFフレームワークを実証している。
論文 参考訳(メタデータ) (2021-06-23T22:26:29Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z) - Deep Metric Learning Meets Deep Clustering: An Novel Unsupervised
Approach for Feature Embedding [32.8693763689033]
Unsupervised Deep Distance Metric Learning (UDML)は、ラベルのないデータセットから埋め込み空間のサンプル類似性を学ぶことを目的としている。
従来のUDML法は通常、正と負のサンプルの採掘を必要とする三重項損失または対損失を用いる。
しかし、ラベル情報が入手できないため、教師なしの設定ではこれは難しい。
本稿では,その課題を克服する新しいUDML手法を提案する。
論文 参考訳(メタデータ) (2020-09-09T04:02:04Z) - Unsupervised Feature Learning by Cross-Level Instance-Group
Discrimination [68.83098015578874]
我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。
CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。
セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
論文 参考訳(メタデータ) (2020-08-09T21:13:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。