論文の概要: Estimating Structural Disparities for Face Models
- arxiv url: http://arxiv.org/abs/2204.06562v1
- Date: Wed, 13 Apr 2022 05:30:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-15 12:26:03.316254
- Title: Estimating Structural Disparities for Face Models
- Title(参考訳): 顔モデルにおける構造的差異の推定
- Authors: Shervin Ardeshir, Cristina Segalin, Nathan Kallus
- Abstract要約: 機械学習では、異なるサブ人口間でのモデルの性能や結果の差を測定することで、しばしば異質度の測定が定義される。
本研究では、人間の顔に訓練されたコンピュータビジョンモデルや、顔属性予測や影響推定などのタスクについて、そのような分析を行う。
- 参考スコア(独自算出の注目度): 54.062512989859265
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In machine learning, disparity metrics are often defined by measuring the
difference in the performance or outcome of a model, across different
sub-populations (groups) of datapoints. Thus, the inputs to disparity
quantification consist of a model's predictions $\hat{y}$, the ground-truth
labels for the predictions $y$, and group labels $g$ for the data points.
Performance of the model for each group is calculated by comparing $\hat{y}$
and $y$ for the datapoints within a specific group, and as a result, disparity
of performance across the different groups can be calculated. In many real
world scenarios however, group labels ($g$) may not be available at scale
during training and validation time, or collecting them might not be feasible
or desirable as they could often be sensitive information. As a result,
evaluating disparity metrics across categorical groups would not be feasible.
On the other hand, in many scenarios noisy groupings may be obtainable using
some form of a proxy, which would allow measuring disparity metrics across
sub-populations. Here we explore performing such analysis on computer vision
models trained on human faces, and on tasks such as face attribute prediction
and affect estimation. Our experiments indicate that embeddings resulting from
an off-the-shelf face recognition model, could meaningfully serve as a proxy
for such estimation.
- Abstract(参考訳): 機械学習では、データポイントの異なるサブポピュレーション(グループ)間で、モデルの性能や結果の差を測定することで、しばしば不一致のメトリクスが定義される。
したがって、不一致定量化への入力はモデルの予測値$\hat{y}$、予測値$y$の基底ラベル、データポイントに対するグループラベル$g$で構成される。
各グループのモデルの性能は、特定のグループ内のデータポイントに対して$\hat{y}$と$y$を比較して計算し、その結果、異なるグループ間でのパフォーマンスの相違を計算することができる。
しかし、多くの現実世界のシナリオでは、トレーニングや検証期間中にグループラベル(g$)が大規模に利用できない場合や、センシティブな情報である場合が多いため、それらを収集することは実現可能でも望ましくない場合もある。
その結果、分類群間での異質性指標の評価は不可能である。
一方、多くのシナリオにおいて、ノイズの多いグループ化は、ある種のプロキシを使って得ることができるかもしれない。
本稿では,人間の顔に訓練されたコンピュータビジョンモデルや,顔属性予測や影響推定などのタスクについて,このような分析を行う。
実験の結果,既定の顔認識モデルから得られる埋め込みは,そのような推定のプロキシとして有意義に機能する可能性が示唆された。
関連論文リスト
- Accurately Classifying Out-Of-Distribution Data in Facial Recognition [0.0]
現実のシナリオは通常、トレーニングディストリビューションのデータとは異なる、目に見えないデータを特徴付けます。
この問題は、未表現のグループからのデータが、トレーニングデータの均等な割合を表現せずにテストデータに現れるという社会正義の問題で最も多い。
ニューラルネットワークの性能は、分布外データの複数のデータセットで同時にトレーニングされたときに、分布外データの顔画像を改善することができるか?
論文 参考訳(メタデータ) (2024-04-05T03:51:19Z) - A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。
非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
論文 参考訳(メタデータ) (2024-01-26T14:21:45Z) - De-biasing "bias" measurement [20.049916973204102]
グループワイドモデルの性能格差を測定するために用いられる指標は、それらが表す基礎となる量の統計的偏りの推定値であることを示す。
本稿では,グループ間におけるモデル性能のばらつきの非バイアス推定と不確実性定量化を行う「二重補正分散推定器」を提案する。
論文 参考訳(メタデータ) (2022-05-11T20:51:57Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳(メタデータ) (2022-03-29T04:54:06Z) - Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。
提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
論文 参考訳(メタデータ) (2022-01-17T10:49:49Z) - Mandoline: Model Evaluation under Distribution Shift [8.007644303175395]
マシンラーニングモデルは、トレーニングや検証対象と異なる設定でデプロイされることが多い。
これらの問題を緩和する新しい評価フレームワークであるMandolineを開発した。
ユーザーは単純な"スライシング関数" - ノイズがあり、分散シフトの可能な軸をキャプチャすることを目的とした、潜在的に相関したバイナリ関数を書く。
論文 参考訳(メタデータ) (2021-07-01T17:57:57Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z) - Discriminative, Generative and Self-Supervised Approaches for
Target-Agnostic Learning [8.666667951130892]
生成的および自己教師型学習モデルは、そのタスクでうまく機能することが示されている。
擬似相似理論の導出した定理は、結合分布モデルの推定に関係があることも示している。
論文 参考訳(メタデータ) (2020-11-12T15:03:40Z) - Interpretable Assessment of Fairness During Model Evaluation [1.2183405753834562]
本稿では,階層的クラスタリングアルゴリズムを導入し,各サブ集団におけるユーザ間の不均一性を検出する。
本稿では,LinkedInの実際のデータに対して,アルゴリズムの性能を示す。
論文 参考訳(メタデータ) (2020-10-26T02:31:17Z) - LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。
クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。
毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
論文 参考訳(メタデータ) (2020-10-06T16:42:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。