# (参考訳) ニューラルネットワークに対する個別公平性保証 [全文訳有]

Individual Fairness Guarantees for Neural Networks ( http://arxiv.org/abs/2205.05763v1 )

ライセンス: CC BY 4.0
Elias Benussi (1), Andrea Patane (1), Matthew Wicker (1), Luca Laurenti (2) and Marta Kwiatkowska (1) ((1) University of Oxford, (2) TU Delft)(参考訳) フィードフォワードニューラルネットワーク(NN)の個々人の公正性(IF)を認証する問題を考察する。 特に、$\epsilon$-$\delta$- if の定式化は、nn とデータから学習した類似度メトリックが与えられたとき、任意の$\epsilon$類似の個人間の出力の差が最大決定許容値 $\delta \geq 0$ によって制限されることを要求する。 マハラノビス距離を含む様々な指標を用いて、nnの非線形性を入力空間上でグローバルに下・上限に分割線形関数を用いて最適化問題を近似する手法を提案する。 我々は、この計算を混合整数線形計画問題の解としてエンコードし、フェアネスベンチマークに広く用いられている4つのデータセット上でIF保証を計算するのに使用できることを示した。 この定式化は、NN損失を変更することで、トレーニング時のモデルの公平性を促進できることを示すとともに、我々のアプローチが最先端の手法よりもはるかに公平なNNを生成することを実証的に確認する。

We consider the problem of certifying the individual fairness (IF) of feed-forward neural networks (NNs). In particular, we work with the $\epsilon$-$\delta$- IF formulation, which, given a NN and a similarity metric learnt from data, requires that the output difference between any pair of $\epsilon$-similar individuals is bounded by a maximum decision tolerance $\delta \geq 0$. Working with a range of metrics, including the Mahalanobis distance, we propose a method to overapproximate the resulting optimisation problem using piecewise-linear functions to lower and upper bound the NN's non-linearities globally over the input space. We encode this computation as the solution of a Mixed-Integer Linear Programming problem and demonstrate that it can be used to compute IF guarantees on four datasets widely used for fairness benchmarking. We show how this formulation can be used to encourage models' fairness at training time by modifying the NN loss, and empirically confirm our approach yields NNs that are orders of magnitude fairer than state-of-the-art methods.
公開日: Wed, 11 May 2022 20:21:07 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。


    Page: /      
Individual Fairness Guarantees for Neural Networks ニューラルネットワークに対する個別公平性保証 0.74
Elias Benussi1∗ , Andrea Patane1 , Matthew Wicker1 , Luca Laurenti2 and Marta Kwiatkowska1 Elias Benussi1∗ , Andrea Patane1 , Matthew Wicker1 , Luca Laurenti2, Marta Kwiatkowska1 0.41
1{elias.benussi, andrea.patane, matthew.wicker, marta.kwiatkowska}@cs.ox.ac.uk, 2l.laurenti@tudelft. nl 1{elias.benussi, andrea.patane, matthew.wicker, marta.kwiatkowska}@cs.ox.ac.uk, 2l.laurenti@tudelft. nl 0.28
1University of Oxford オックスフォード大学 0.53
2TU Delft 2 2 0 2 2TUデルフト 2 2 0 2 0.52
y a M 1 1 y a m 1 1 である。 0.65
] G L . s c [ ] G L。 sc [ 0.47
1 v 3 6 7 5 0 1 v 3 6 7 5 0 0.42
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
Abstract We consider the problem of certifying the individual fairness (IF) of feed-forward neural networks (NNs). 概要 フィードフォワードニューラルネットワーク(NN)の個々人の公正性(IF)を認証する問題を考察する。 0.58
In particular, we work with the -δ-IF formulation, which, given a NN and a similarity metric learnt from data, requires that the output difference between any pair of -similar individuals is bounded by a maximum decision tolerance δ ≥ 0. 特に、データから学習したnnと類似度メトリックが与えられたとき、任意の対の類似した個人間の出力差が最大決定許容度 δ ≥ 0 によって境界づけられるように要求される ~-δ-if の定式化を扱う。 0.71
Working with a range of metrics, including the Mahalanobis distance, we propose a method to overapproximate the resulting optimisation problem using piecewise-linear functions to lower and upper bound the NN’s non-linearities globally over the input space. マハラノビス距離を含む様々な指標を用いて、nnの非線形性を入力空間上でグローバルに下・上限に分割線形関数を用いて、結果として生じる最適化問題を近似する手法を提案する。 0.77
We encode this computation as the solution of a Mixed-Integer Linear Programming problem and demonstrate that it can be used to compute IF guarantees on four datasets widely used for fairness benchmarking. 我々は、この計算を混合整数線形計画問題の解としてエンコードし、フェアネスベンチマークに広く用いられている4つのデータセット上でIF保証を計算するのに使用できることを示した。
訳抜け防止モード: この計算を混合整数線形計画問題の解として符号化する そして、フェアネスベンチマークに広く使用される4つのデータセットの保証を計算できることを示した。
We show how this formulation can be used to encourage models’ fairness at training time by modifying the NN loss, and empirically confirm our approach yields NNs that are orders of magnitude fairer than state-of-the-art methods. 我々は,この定式化を,nn損失の修正によるトレーニング時の公平性向上に活用できることを示すとともに,その手法を実証的に確認することで,最新手法よりも桁違いにフェアなnnが得られることを示す。 0.54
1 Introduction Reservations have been raised about the application of neural networks (NN) in contexts where fairness is of concern [Barocas and Selbst, 2018]. 1 公平性が懸念される状況におけるニューラルネットワーク(nn)の適用について,導入予約が提起されている(barocas and selbst, 2018)。 0.70
Because of inherent biases present in real-world data, if unchecked, these models have been found to discriminate against individuals on the basis of sensitive features, such as race or sex [Bolukbasi et al , 2016, Angwin et al , 2016]. 現実世界のデータに固有のバイアスがあるため、もしチェックされていない場合、これらのモデルは人種や性別などの繊細な特徴に基づいて個人を判別することが判明している(bolukbasi et al , 2016 angwin et al , 2016)。 0.68
Recently, the topic has come under the spotlight, with technologies being increasingly challenged for bias [Hardesty, 2018, Kirk et al , 2021, Hern, 2020], leading to the introduction of a range of definitions and techniques for capturing the multifaceted properties of fairness. 最近では、テクノロジがバイアス(hardesty, 2018, kirk et al , 2021, hern, 2020)にますます挑戦され、フェアネスの多面的特性を捉えるための、さまざまな定義とテクニックが導入されている。
訳抜け防止モード: 最近、この話題は注目を浴びており、テクノロジーはますます偏見に悩まされている [Hardesty]。 2018, Kirk et al, 2021, Hern, 2020 ] フェアネスの多面的特性を捉えるための、様々な定義と技術の導入につながります。
Fairness approaches are broadly categorised into: group fairness [Hardt et al , 2016], which inspects the model over data demographics; and individual fairness (IF) [Dwork et al , 2012], which considers the behaviour over each individual. フェアネスアプローチは、データ人口統計よりもモデルを検査するグループフェアネス(hardt et al , 2016])、個人のフェアネス(if) [dwork et al , 2012]、各個人の行動を考慮する。
訳抜け防止モード: フェアネスアプローチは広義に分類される : グループフェアネス [ Hardt et al, データ人口統計についてモデルを検査する「2016年」。 個人的公正(IF) [Dwork et al, 2012 ] 個々の行動を考えることです
Despite its wider adoption, group fairness is only concerned with statistical properties of the model so that a situation may 広く採用されているにもかかわらず、集団公平性はモデルの統計的性質にのみ関係しており、状況が変わる可能性がある。
訳抜け防止モード: 広く採用されているにもかかわらず、群フェアネスはモデルの統計的性質にのみ関係している。 状況は
∗Corresponding Author arise where predictions of a group-fair model can be perceived as unfair by a particular individual. ∗ 対応作者 グループ・フェアモデルの予測が特定の個人によって不公平と見なされる場合に発生する。 0.64
In contrast, IF is a worst-case measure with guarantees over every possible individual in the input space. 対照的に、IFは入力空間内のすべての可能な個人に対する保証を持つ最悪の尺度である。 0.58
However, while techniques exist for group fairness of NNs [Albarghouthi et al , 2017, Bastani et al , 2018], research on IF has thus far been limited to designing training procedures that favour fairness [Yurochkin et al , 2020, Yeom and Fredrikson, 2020, McNamara et al , 2017] and verification over specific individuals [Ruoss et al , 2020]. しかしながら、nns(albarghouthi et al , 2017 bastani et al , 2018)のグループフェアネスのための技術が存在する一方で、これまでの研究は、フェアネス(yurochkin et al , 2020, yeom and fredrikson, 2020, mcnamara et al , 2017)を好むトレーニング手順の設計と特定の個人(ruoss et al , 2020)に対する検証に限定されてきた。 0.77
To the best of our knowledge, there is currently no work targeted at global certification of IF for NNs. 我々の知る限りでは、現在NNのIFのグローバルな認証を目的とした研究は行われていない。 0.62
We develop an anytime algorithm with provable bounds for the certification of IF on NNs. NNにおけるIF認証のための証明可能なバウンダリ付き任意のアルゴリズムを開発する。 0.64
We build on the -δ-IF formalisation employed by John et al [2020]. 我々は、John et al [2020] が採用した s-δ-IF の形式化に基づいて構築する。 0.51
That is, given , δ ≥ 0 and a distance metric dfair that captures the similarity between individuals, we ask that, for every pair of points x(cid:48) and x(cid:48)(cid:48) in the input space with dfair(x(cid:48), x(cid:48)(cid:48)) ≤ , the NN’s output does not differ by more than δ. すなわち、δ ≥ 0 と個人間の類似性を捉える距離計量 dfair が与えられたとき、dfair(x(cid:48) と x(cid:48)(cid:48) の入力空間における点 x(cid:48)(cid:48) と x(cid:48)(cid:48) に対して、NN の出力は δ 以上の差はない。 0.80
Although related to it, IF certification on NNs poses a different problem than adversarial robustness [Tjeng et al , 2019], as both x(cid:48) and x(cid:48)(cid:48) are here problem variables, spanning the whole space. NN上のIF認証は、x(cid:48) と x(cid:48)(cid:48) の両方が問題変数であり、空間全体にまたがっているため、敵の堅牢性(Tjeng et al , 2019)とは異なる問題を引き起こす。 0.72
Hence, local approximation techniques developed in the adversarial literature cannot be employed in the context of IF. したがって、敵文学で開発された局所近似技術はIFの文脈では利用できない。 0.63
Nevertheless, we show how this global, non-linear requirement can be encoded in Mixed-Integer Linear Programming (MILP) form, by deriving a set of global upper and lower piecewise-linear (PWL) bounds over each activation function in the NN over the whole input space, and performing linear encoding of the (generally non-linear) similarity metric dfair(x(cid:48), x(cid:48)(cid:48)). しかしながら、この大域的非線形要求をMILP(Mixed-Integer Linear Programming)形式で符号化するには、入力空間全体にわたってNN内の各アクティベーション関数上の大域的上下小数次線形(PWL)境界を導出し、(一般的には非線形)類似度メートル法dfair(x(cid:48), x(cid:48)(cid:48)(ci d:48))の線形符号化を実行する。 0.74
The formulation of our optimisation as a MILP allows us to compute an anytime, worst-case bound on IF, which can thus be computed using standard solvers from the global optimisation literature [Dantzig, 2016]. MILP としての最適化の定式化により,IF 上での任意の最悪のケース境界の計算が可能となり,グローバルな最適化文献 (Dantzig, 2016) の標準解法を用いて計算できる。 0.76
Furthermore, we demonstrate how our approach can be embedded into the NN training so as to optimise for individual fairness at training time. さらに,このアプローチをnnトレーニングに組み込んで,トレーニング時の個々人の公平性を最適化する方法を実証する。
訳抜け防止モード: さらに、我々はどのようにして 我々のアプローチは NNの訓練に埋め込まれる 訓練時の個人の公正を 最適化するために
We do this by performing gradient descent on a weighted loss that also accounts for the maximum δ-variation in dfair-neighborhoods for each training point, similarly to what is done in adversarial learning [Goodfellow et al , 2014, Gowal et al , 2018, Wicker et al , 2021]. 我々は,各訓練点におけるdfair-neighborhoodsの最大δ-変量も考慮した重み付き損失の勾配降下を行うことによって,逆学習(goodfellow et al , 2014 gowal et al , 2018, wicker et al , 2021)と同様に,これを行う。 0.88
We apply our method on four benchmarks widely employed in the fairness literature, namely, the Adult, German, Credit and Crime datasets [Dua and Graff, 2017], and an array of similarity metrics learnt from data that include (cid:96)∞, 本手法は, フェアネス文学に広く採用されている4つのベンチマーク [dua and graff, 2017] と (cid:96)∞ を含むデータから学習した類似度指標の配列 [dua and graff, 2017] に適用する。 0.73
Mahalanobis, and NN embeddings. Mahalanobis と NN の埋め込み。 0.75
We empirically demonstrate how our method is able to provide the first, non-trivial IF certificates for NNs commonly employed for tasks from the IF literature, and even larger NNs comprising up to thousands of neurons. 我々は、我々の手法が、IF文献のタスクによく使用されるNNや、最大数千のニューロンからなるより大きなNNに対して、初めて、非自明なIF証明書を提供することができることを実証的に実証した。
訳抜け防止モード: 我々は,本手法が,IF文献のタスクによく使用されるNNに対して,最初の,非自明なIF証明書を提供することを実証的に示す。 さらに大きなNNは何千ものニューロンから構成されています
Furthermore, we find that our MILP-based fair training approach consistently outperforms, in terms of IF guarantees, NNs trained with a competitive state-of-theart technique by orders of magnitude, albeit at an increased computational cost. さらに、milpベースの公正なトレーニングアプローチは、計算コストの増大にもかかわらず、if保証の観点から、競争力のある最先端技術でトレーニングされたnnよりも一貫して優れています。 0.52
The paper makes the following main contributions:1 • We design a MILP-based, anytime verification approach 論文は以下の主な貢献をしている:1 • 私たちはMILPに基づく、いつでも検証できるアプローチを設計する。 0.52
for the certification of IF as a global property on NNs. NNのグローバルな資産としてのIFの認証のために。 0.65
• We demonstrate how our technique can be used to modify the loss function of a NN to take into account certification of IF at training time. • トレーニング時にIFの認証を考慮に入れたNNの損失関数の修正に我々の技術をどのように利用できるかを示す。 0.80
• On four datasets, and an array of metrics, we show how our techniques obtain non-trivial IF certificates and train NNs that are significantly fairer than state-of-the-art. • 4つのデータセットと一連のメトリクスにおいて、我々の技術が非自明なIF証明書をどうやって取得し、最先端技術よりもかなり公平なNNを訓練するかを示す。 0.57
Related Work A number of works have considered IF by employing techniques from adversarial robustness. 関連作業 敵の強靭性から技術を採用することでIFを考察する作品が数多くある。 0.59
Yeom and Fredrikson [2020] rely on randomized smoothing to find the highest stable per-feature difference in a model. Yeom と Fredrikson [2020] はモデルにおいて最も安定な1機能差を見つけるためにランダムな滑らか化に依存している。 0.69
Their method, however, provides only (weak) guarantees on model statistics. しかし、それらの手法はモデル統計にのみ(弱)保証を提供する。 0.76
Yurochkin et al [2020] present a method for IF training that builds on projected gradient descent and optimal transport. Yurochkin et al [2020] は、射影勾配降下と最適輸送に基づくIF訓練法を提案する。 0.64
While the method is found to decrease model bias to state-of-the-art results, no formal guarantees are obtained. この手法は, 最先端結果に対するモデルバイアスを減少させるが, 正式な保証は得られない。 0.67
Ruoss et al [2020] adapted the MILP formulation for adversarial robustness to handle fair metric embeddings. Ruoss et al [2020] は、MILPの定式化を敵の堅牢性に適応させ、公正な計量埋め込みを扱う。
訳抜け防止モード: Ruoss et al [ 2020 ] のMILP定式化による対向ロバスト性の改善 正確なメートル法を 埋め込むためです
However, rather than tackling the IF problem globally as introduced by Dwork et al [2012], the method only works iteratively on a finite set of data, hence leaving open the possibility of unfairness in the model. しかし、Dwork et al [2012] が導入した IF 問題にグローバルに対処する代わりに、この手法は有限個のデータに対して反復的にのみ機能し、従ってモデルにおける不公平性の可能性を開く。 0.75
In contrast, the MILP encoding we obtain through PWL bounding of activations and similarity metrics allows us to provide guarantees over any possible pair of individuals. 対照的に、アクティベーションと類似度メトリクスのpwlバウンドを通じて得られるmilpエンコーディングは、可能な任意のペアの個人に対して保証を提供することができます。
訳抜け防止モード: 対照的にMILP符号化は 我々はアクティベーションと類似度メトリクスのPWLバウンディングを通して得られる 一対の個人を 保証できるのです
Urban et al [2020] employ static analysis to certify causal fairness. urban et al [2020] は因果的公平性を証明するために静的解析を用いる。 0.62
While this method yields global guarantees, it cannot be straightforwardly employed for IF, and it is not anytime, making exhaustive analysis impractical. この手法は大域的な保証をもたらすが、if に対して直接的に採用することはできず、またいつでも使用できないため、徹底的な分析は現実的ではない。
訳抜け防止モード: この方法ではグローバルな保証が得られます。 IFで直接使用することはできない。 徹底的な分析は 現実的ではありません
John et al [2020] present a method for the computation of IF, though limited to linear and kernel models. John et al [2020] は、線形およびカーネルモデルに限定されるIFの計算方法を提案する。 0.68
MILP and linear relaxation have been employed to certify NNs in local adversarial settings [Ehlers, 2017, Tjeng et al , 2019, Wicker et al , 2020]. MILPと線形緩和は、NNを現地の敵の設定で認証するために使用されている[Ehlers, 2017 Tjeng et al , 2019, Wicker et al , 2020]。 0.72
However, local approximations cannot be employed for the global IF problem. しかし、局所近似はグローバルIF問題には適用できない。 0.57
While Katz et al [2017], Leino et al [2021] consider global robustness, their methods are restricted to (cid:96)p metrics. katz et al [2017], leino et al [2021] はグローバルロバスト性を検討したが、その方法は (cid:96)p メトリクスに制限されている。 0.66
Furthermore, they require the knowledge of a Lipschitz constant or are limited to ReLU. さらに、それらはリプシッツ定数の知識を必要とするか、ReLUに制限される。 0.64
2 Individual Fairness We focus on regression and binary classification with NNs with real-valued inputs and one-hot encoded categorical features.2 2 個別公平性 実数値入力付きnnと1-hot符号化分類特徴を用いた回帰とバイナリ分類に焦点をあてる。 0.64
Such frameworks are often used in automated 1Proofs and additional details can be found in Appendix of an extended version of the paper available at http://www.fun2model . このようなフレームワークは自動化された1Proofでよく使用され、さらに詳細は http://www.fun2model .com で利用可能な拡張バージョンの論文の Appendix で見ることができる。 0.58
org/bibitem.php? org/bibitem.php? 0.25
key=BPW+22. key=BPW+22。 0.48
2Multi-class can be tackled with component-wise analyses. 2Multiクラスはコンポーネント分析に対処できる。 0.79
decision-making, e g for loan applications [Hardt et al , 2016]. ローン申請の意思決定、例えば、[Hardt et al , 2016]。 0.56
Formally, given a compact input set X ⊆ Rn and an output set Y ⊆ R, we consider an L layer fully-connected NN f w : X → Y , parameterised by a vector of weights w ∈ Rnw trained on D = {(xi, yi), i ∈ {1, ..., nd}}. 形式的には、コンパクトな入力集合 X > Rn と出力集合 Y > R が与えられたとき、D = {(xi, yi), i ∈ {1, ..., nd}} で訓練されたウェイト w ∈ Rnw のベクトルによってパラメータ化される L 層を完全連結 NN f w : X → Y とみなす。 0.88
For an input x ∈ X, i = 1, . . . , L and j = 1, . . . , ni, the NN is defined as: 入力 x ∈ X に対して、i = 1, . . . , L , j = 1, . . , ni に対して NN は次のように定義される。 0.90
j = σ(i)(cid:16) j = σ(i)(cid:16) 0.49
ζ (i) (cid:17) シュ(イ) (cid:17) 0.47
ni−1(cid:88) ni−1(cid:88) 0.33
φ(i) j = jk ζ (i−1) W (i) φ(i) j = jk は (i−1) w (i) である。 0.54
k + b(i) j , k + b(i) j , 0.64
φ(i) j φ(i)j である。 0.70
(1) k=1 (1) k=1 である。 0.37
j where ζ (0) j = xj. j は、 (0) j = xj である。 0.61
Here, ni is the number of units in the ith layer, W (i) jk and b(i) are its weights and biases, σ(i) is the activation function, φ(i) is the pre-activation and ζ (i) the activation. ここで、i は i 層内の単位数、W (i) jk と b(i) はその重みと偏り、σ(i) は活性化関数、φ(i) は事前活性化、φ(i) は活性化である。
訳抜け防止モード: ここで ni は i 層の単位数である。 W ( i ) jk と b(i ) はその重さである そしてバイアス、σ(i ) は活性化関数、φ(i ) は前-活性化関数である と (i) は活性化する。
The NN output is the result of these computations, f w(x) := ζ (L). NNの出力はこれらの計算の結果であり、f w(x) := (L) である。 0.83
In regression, f w(x) is the prediction, while for classification it represents the class probability. 回帰において、f w(x) は予測であり、分類ではクラス確率を表す。 0.77
In this paper we focus on fully-connected NNs as widely employed in the IF literature [Yurochkin et al , 2020, Urban et al , 2020, Ruoss et al , 2020]. 本稿では,IF文献に広く採用されている完全連結NNに着目した [Yurochkin et al , 2020, Urban et al , 2020, Ruoss et al , 2020]。 0.77
However, we should stress that our framework, being based on MILP, can be easily extended to convolutional, max-pool and batch-norm layers or res-nets by using embedding techniques from the adversarial robustness literature (see e g [Boopathy et al , 2019]. しかし、我々のフレームワークはMILPをベースとしており、敵の堅牢性文学(eg(Boopathy et al, 2019)を参照)からの埋め込み技術を利用することで、畳み込み、最大プール、バッチノーム層、あるいはres-netに容易に拡張できることを強調します。 0.58
Individual Fairness Given a NN f w, IF [Dwork et al , 2012] enforces the property that similar individuals are similarly treated. 個人の公正性 NN f w, IF [Dwork et al , 2012] は、類似した個人が同様に扱われる性質を強制する。 0.81
Similarity is defined according to a taskdependent pseudometric, dfair : X × X (cid:55)→ R≥0, provided by a domain expert (e g , a Mahalanobis distance correlating each feature to the sensitive one), whereas similarity of treatment is expressed via the absolute difference on the NN output f w(x). 類似性は、ドメインの専門家(例えば、各特徴とセンシティブな特徴を関連付けるマハラノビス距離)によって提供されるタスク依存の擬距離 dfair : X × X (cid:55)→ R≥0 に従って定義されるが、一方、治療の類似性はNN出力 f w(x) の絶対差によって表される。 0.78
We adopt the -δ-IF formulation of John et al [2020] for the formalisation of input-output IF similarity. 類似性のある場合の入出力の形式化には、john et al [2020] の \-δ-if 定式化を採用する。 0.55
Definition 1 (-δ-IF [John et al , 2020]). 定義1 - δ-IF [John et al , 2020]。 0.35
Consider  ≥ 0 and δ ≥ 0. δ ≥ 0 と δ ≥ 0 を考える。 0.81
We say that f w is -δ-individually fair w.r.t. dfair iff ∀x(cid:48), x(cid:48)(cid:48) s.t. dfair(x(cid:48), x(cid:48)(cid:48)) ≤  =⇒ |f w(x(cid:48)) − f w(x(cid:48)(cid:48)) | ≤ δ. dfair iff(cid:48), x(cid:48)(cid:48) s.t. dfair(x(cid:48), x(cid:48)(cid:48)) ≤ x(cid:48)(cid:48)| ≤ δ は f w(x(cid:48)) − f w(x(cid:48)(cid:48)| ≤ δ である。 0.42
Here,  measures similarity between individuals and δ is the difference in outcomes (class probability for classification). ここで、δ と δ の類似度を測るのは結果の差(分類のクラス確率)である。 0.82
We emphasise that individual fairness is a global notion, as the condition in Definition 1 must hold for all pairs of points in X. We remark that the -δ-IF formulation of John et al [2020] (which is more general than IF formulation typically used in the literature [Yurochkin et al , 2020, Ruoss et al , 2020]) is a slight variation on the Lipschitz property introduced by Dwork et al [2012]. 我々は、定義 1 の条件が x のすべての点の対に対して持つ必要があるので、個々の公平性は大域的な概念であることを強調する。john et al [2020] (文献で一般的に使われる定式化 (yurochkin et al , 2020, ruoss et al , 2020]) は dwork et al [2012] によって導入されたリプシッツ特性のわずかな変化である。 0.75
While introducing greater flexibility thanks to its parametric form, it makes an IF parametric analysis necessary at test time. パラメトリック形式のおかげで柔軟性が向上する一方で、テスト時にIFパラメトリック分析が必要になる。 0.72
In Section 4 we analyse how -δ-IF of NNs is affected by variations of  and δ. 第4節では、NN の s-δ-IF が s と δ の変動によってどのように影響を受けるかを分析する。
訳抜け防止モード: 第4節では _-δ - nns の場合には _ と δ のバリエーションに影響される。
A crucial component of IF is the similarity dfair. IFの重要な構成要素は類似性dfairである。 0.78
The intuition is that sensitive features, or their sensitive combination, should not influence the NN output. 直感的には、センシティブな機能やセンシティブな組み合わせはnn出力に影響を与えるべきではない。 0.57
While a number of metrics has been discussed in the literature [Ilvento, 2019], we focus on the following representative set of metrics which can be automatically learnt from data [John et al , 2020, Ruoss et al , 2020, Mukherjee et al , 2020, Yurochkin et al , 2020]. 文献(Ilvento, 2019)で多くのメトリクスが議論されているが、データ(John et al , 2020, Ruoss et al , 2020, Mukherjee et al , 2020, Yurochkin et al , 2020)から自動的に学習できる指標の代表的なセットに注目している。 0.75
Details on metric learning is given in Appendix B. メトリック学習の詳細は、 appendix b で示される。 0.76
i − x(cid:48)(cid:48) i − x(cid:48)(cid:48) 0.42
p(cid:112)(cid:80)n p(cid:112)(cid:80)n 0.41
Weighted (cid:96)p: weighted version of an (cid:96)p metric, i=1 θi|x(cid:48) 重み付き(cid:96)p:(cid:96)p計量の重み付きバージョン、i=1 θi|x(cid:48) 0.62
In this case dfair(x(cid:48), x(cid:48)(cid:48)) is defined as a i.e. dfair(x(cid:48), x(cid:48)(cid:48)) = i |p. この場合、dfair(x(cid:48)、x(cid:48)(cid:48))は、dfair(x(cid:48)、x(cid:48)(cid:48)) = i |p と定義される。 0.82
Intuitively, we set the weights θi related to sensitive features to zero, so that two individuals are considered similar if they only differ with respect to those. 直感的には、感度のある特徴に関連する重み θi を 0 とし、それらについてのみ異なる場合、2 つの個人が類似していると考えられる。 0.69
The weights θi for the remaining features can be tuned according to their degree of correlation to the sensitive features. 残りの特徴に対する重みθiは、感度特徴との相関度に応じて調整することができる。 0.84
In this case we have dfair(x(cid:48), x(cid:48)(cid:48)) = Mahalanobis: この場合、dfair(x(cid:48), x(cid:48)(cid:48) = mahalanobis となる。 0.82
(cid:112)(x(cid:48) − x(cid:48)(cid:48))T S(x(cid:48) − x(cid:48)(cid:48)), for a given positive semi-definite (cid:112)(x(cid:48) − x(cid:48)(cid:48))T S(x(cid:48) − x(cid:48)(cid:48)) 0.45
(SPD) matrix S. The Mahalanobis distance generalises the (cid:96)2 metric by taking into account the intra-correlation of features to capture latent dependencies w.r.t. the sensitive features. (SPD)行列 S. マハラノビス距離は (cid:96)2 の計量を一般化し、特徴の相関関係を考慮し、感度のある特徴に対して潜伏依存を捉える。 0.68
Feature Embedding: The metric is computed on an embedding, so that dfair(x(cid:48), x(cid:48)(cid:48)) = ˆd(ϕ(x(cid:48)), ϕ(x(cid:48)(cid:48))) , where ˆd is either the Mahalanobis or the weighted (cid:96)p metric, and ϕ is a feature embedding map. 特徴埋め込み: 計量は埋め込み上で計算され、dfair(x(cid:48), x(cid:48)(cid:48)) = sd(φ(x(cid:48)), φ(x(cid:48)(cid:48)) となる。
訳抜け防止モード: 特徴埋め込み : 計量は埋め込み上で計算され、dfair(x(cid:48) となる。 x(cid:48)(cid:48 ) ) = sd( φ(x(cid:48 ) ), φ(x(cid:48)(cid:48 ) ) ) ) d はマハラノビスまたは重み付き (cid:96)p 計量であり、 φ は特徴埋め込み写像である。
These allow for greater modelling flexibility, at the cost of reduced interpretability. これにより、解釈可能性の低減を犠牲にして、モデリングの柔軟性が向上する。 0.42
2.1 Problem Formulation We aim at certifying -δ-IF for NNs. 2.1 問題定式化 我々は,NN の δ-IF 認証を目指す。 0.53
To this end we formalise two problems: computing certificates and training for IF. この目的のために、証明書の計算とIFのトレーニングという2つの問題を定式化する。 0.41
Problem 1 (Fairness Certification). 問題1(フェアネス認定)。 0.68
Given a trained NN f w, a similarity dfair and a distance threshold  ≥ 0, compute 訓練された NN f w と類似度 dfair と距離しきい値 = ≥ 0 が与えられたとき 0.82
δmax = max x(cid:48),x(cid:48)( cid:48)∈X δmax = max x(cid:48),x(cid:48)( cid:48)公開されている。 0.53
dfair(x(cid:48),x(ci d:48)(cid:48))≤ dfair(x(cid:48),x(ci d:48)(cid:48))≤ 0.49
|f w(x(cid:48)) − f w(x(cid:48)(cid:48)) |. f w(x(cid:48)) − f w(x(cid:48)(cid:48)) | である。 0.83
Problem 1 provides a formulation in terms of optimisation, seeking to compute the maximum output change δmax for any pair of input points whose dfair distance is no more than . 問題1は最適化の観点で定式化を提供し、dfair 距離が > に満たない任意の入力点の任意のペアに対して最大出力変化 δmax を計算する。 0.80
One can then compare δmax with any threshold δ: if δmax ≤ δ holds then the model f w has been certified to be -δ-IF. δmax ≤ δ が成り立つならば、モデル f w は s-δ-if であることが保証されている。
訳抜け防止モード: δmax と任意の閾値 δ を比較することができる。 : δmax ≤ δ が成り立つと、モデル f w は δ-IF と認定される。
While Problem 1 is concerned with an already trained NN, the methods we develop can also be employed to encourage IF at training time. 問題1は、すでにトレーニング済みのNNに関するものですが、私たちが開発しているメソッドは、トレーニング時にIFを促進するためにも使用できます。 0.60
Similarly to the approaches for adversarial learning [Goodfellow et al , 2014], we modify the training loss L(f w 対人学習のアプローチ [Goodfellow et al , 2014] と同様に、トレーニング損失L(f w)を変更する。 0.70
(x), y) to balance between the model fit and IF. (x) y) モデル適合とIFのバランスをとること。 0.48
Problem 2 (Fairness Training). 問題2(ペアトレーニング)。 0.55
Consider an NN f w, a training set D, a similarity metric dfair and a distance threshold  ≥ 0. NN f w 、トレーニングセット D 、類似度計量 dfair および距離しきい値 > ≥ 0 を考える。 0.65
Let λ ∈ [0, 1] be a constant. λ ∈ [0, 1] を定数とする。 0.74
Define the IF-fair loss as IF-fair損失の定義 0.90
Lfair(f w(xi), yi, f w(x∗ Lfair(f w(xi), yi, f w(x∗) 0.42
i ), λ) = i) = λ である。 0.82
λL(f w λl(f w) である。 0.49
(xi), yi) + (1 − λ)|f w (xi), yi) + (1 − λ)|f w 0.42
(xi) − f w(x∗ i = arg maxx∈X s.t. dfair(xi,x)≤ |f w (xi) − f w(x∗ i = arg maxx⋅X s.t. dfair(xi,x)≤ |f w 0.47
(xi) − f w (xi) − f w 0.42
(x)|. where x∗ The -IF training problem is defined as finding wfair s.t.: (x)|。 ここで x∗ の訓練問題は wfair s.t. を見つけるものとして定義される。 0.45
i )|, wfair = arg min i )| である。 wfair = arg min 0.56
Lfair(f w(xi), yi). lfair(f w(xi), yi) である。 0.79
nd(cid:88) nd (複数形 nds) 0.23
w i=1 W i=1 である。 0.33
3 A MILP Approach For Individual Fairness Certification of individual fairness on a NN thus requires us to solve the following global, non-convex optimisation problem: 3 nn上の個人公平性認定のためのmilpアプローチでは、以下のグローバルで非凸最適化問題を解く必要があります。 0.67
|δ| max x(cid:48),x(cid:48)( cid:48)∈X subject to δ = f w(x(cid:48)) − f w(x(cid:48)(cid:48)) |δ| max x(cid:48),x(cid:48)( cid:48)6.5x δ = f w(x(cid:48)) − f w(x(cid:48)(cid:48)) 0.36
dfair(x(cid:48), x(cid:48)(cid:48)) ≤ . dfair(x(cid:48), x(cid:48)(cid:48) ≤ である。 0.88
(2) (3) We develop a Mixed-Integer Linear Programming (MILP) over-approximation (i.e., providing a sound bound) to this problem. (2) (3) 我々はこの問題に対してMILP(Mixed-Integer Linear Programming)オーバー近似(すなわち、音境界を提供する)を開発する。 0.58
We notice that there are two sources of non-linearity here, one induced by the NN (Equation (2)), which we refer to as the model constraint, and the other by the fairness metric (Equation (3)), which we call fairness constraint. ここでは、モデル制約と呼ばれるnn (equation (2)) によって引き起こされるものと、フェアネス制約と呼ばれるフェアネスメトリック (equation (3)) によって引き起こされる2つの非線形性源が存在することに注意する。 0.73
In the following, we show how these can be modularly bounded by piecewise-linear functions. 以下に示すのは、これらをいかにモジュラーに分割線形関数で有界化できるかである。 0.59
In Section 3.3 we bring the results together to derive a MILP formulation for -δ-IF. 第3節3では、結果をまとめて、-δ-if に対する milp の定式化を導出する。
訳抜け防止モード: 第3章では、結果をまとめます。 IF の MILP 式を導出する。
j j j and φ(i)U j j j そして φ(i)u 0.52
j,0, . . . , φ(i) j,0, . . . , φ(i) 0.50
j,l , φ(i) j,l , φ(i) j,l , φ(i) j,l , φ(i) 0.42
3.1 Model Constraint We develop a scheme based on piecewise-linear (PWL) upper and lower bounding for over-approximating all commonly used non-linear activation functions. 3.1 モデル制約 一般的に使用されるすべての非線形活性化関数をオーバー近似するための、区分線形(pwl)上下境界に基づくスキームを開発する。 0.66
An illustration of the ∈ R be PWL bound is given in Figure 1. ∈ R を PWL 境界とする図式は図 1 で与えられる。 0.71
Let φ(i)L j lower and upper bounds on the pre-activation φ(i) j .3 We proceed by building a discretisation grid over the φ(i) j values on M grid points: φgrid = [φ(i) j,M ], with φ(i) j,0 := φ(i)L j,M := φ(i)U and φ(i) , such that, in each partition interval [φ(i) j,l , φ(i) j,l+1], we have that σ(i) is either convex or concave. φgrid = [φ(i) j,M ], with φ(i) j,0 := φ(i)L j,M := φ(i)U および φ(i) とすると、各分割区間 [φ(i) j,l , φ(i) j,l+1] において、σ(i) は凸あるいは凹凸である。
訳抜け防止モード: プリ・アクティベーション φ(i ) j .3 上の φ(i)l j と上界を m グリッド点上の φ(i ) j の値の上に離散化グリッドを構築することによって進める: φgrid = [ φ(i ) j, m ] φ(i ) j,0 : = φ(i)l j, m : = φ(i)u と φ(i ) したがって、各分割間隔 [ φ(i ) j において l, φ(i ) j, l+1 ] とすると、σ(i ) は凸または凸である。
We then compute linear lower and upper bound functions for σ(i) in each [φ(i) j,l+1] as follows. 次に各 [φ(i) j,l+1] において σ(i) に対する線型下界および上界関数を次のように計算する。 0.81
If σ(i) is convex (resp. concave) in [φ(i) j,l+1], then an upper (resp. lower) linear bound is given by the segment connecting the two extremum points of the interval, and a lower (resp. upper) linear bound is given by the tangent through the mid-point of the interval. σ(i) が [φ(i) j,l+1] の凸 (resp. concave) であるなら、上(resp. lower) 線型境界は区間の2つの極小点を連結するセグメントによって与えられ、下(resp. upper) 線型境界は区間の中間点を通して接点によって与えられる。
訳抜け防止モード: σ(i ) が [ φ(i ) j, l+1 ] の凸 (resp . concave ) であるとき、 すると、上の(resp . lower )線形境界は区間の2つの極小点を接続するセグメントによって与えられる。 そして、下 (resp . upper ) の線型境界は、区間 の中間点を通して接線によって与えられる。
We then compute the values of each linear bound in each of its grid points, and select the minimum of the lower bounds and the maximum of the upper bound values, which we , . . . , ζPWL,(i),U store in two vectors ζPWL,(i),U = [ζPWL,(i),U ] and ζPWL,(i),L = [ζPWL,(i),L , . . . , ζPWL,(i),L ]. すると、各格子点における各線形境界の値を計算し、下限の最小値と上限値の最大値を選択する。この値、すなわち、 . , . , . PWL,(i)U と . PWL,(i)U と . PWL,(i)L と . PWL,(i)L の2つのベクトルに格納する。
訳抜け防止モード: 次に、各格子点における各線形境界の値を計算する。 そして、下限の最小値と上限の最大値を選択します。 U を 2 つのベクトルに格納する。 = [ >PWL,(i),U ] と >PWL,(i),L = [ >PWL,(i),L, ] である。 は、PWL(i,L)。
The following lemma is a consequence of this construction. 以下の補題はこの建設の結果である。 0.69
Lemma 1. Let φ ∈ [φ(i)L ]. レマ1号。 φ ∈ [φ(i)L ] とする。 0.67
Denote with l the index associated to the partition of φgrid in which φ falls and consider η ∈ [0, 1] such that φ = ηφ(i)L σ(i)(φ) ≥ ηζPWL,(i),L σ(i)(φ) ≤ ηζPWL,(i),U φ が φ ∈ [0, 1] に落ちて η ∈ [0, 1] を考える φ = ηφ(i)L σ(i)(φ) ≥ η = PWL,(i),L σ(i)(φ) ≤ η = PWL,(i)U となるような φgrid の分割に付随する指数について l に注意すること。 0.83
, φ(i)U j,l−1 + (1 − η)φ(i)L , φ(i)U j,l−1 + (1 − η)φ(i)L 0.47
+ (1 − η)ζPWL,(i),L + (1 − η)ζPWL,(i),U + (1 − η)シュPWL,(i),L + (1 − η)シュPWL,(i),U 0.38
. Then: j,l−1 . すると j,l−1 0.45
j,M j,M j,0 j,M j,M J0 0.39
, , j,0 j j , , J0 j j 0.40
j,l j j j,l j.l. j j j.l. 0.40
j,l j,l−1 j.l. j,l−1 0.39
In Problem 2 we seek to train a NN that not only is accurate, but whose predictions are also fair according to Definition 1. 問題2では、正確であるだけでなく、定義1に従って予測が公平であるnnを訓練することを目指している。 0.67
Parameter λ balances between accuracy and IF. パラメータλは精度とIFのバランスをとる。 0.73
In particular, for λ = 1 we recover the standard training that does not account for IF, while for λ = 0 we only consider IF. 特に、λ = 1 に対して、if を考慮しない標準トレーニングを復元するが、λ = 0 の場合、if のみを考える。 0.72
that is, ζPWL,(i),L lower and upper bounds for φ in [φ(i)L すなわち、[φ(i)L の φ 上の下界と上界は φ(i)L である。 0.73
and ζPWL,(i),U そして、pwl,(i)u 0.46
j j j , φ(i)U j j j ,φ(i)U 0.42
j ]. define continuous PWL j ]. 連続pwlを定義する 0.45
3Computed by bound propagation over X [Gowal et al , 2018]. 3 X[Gowal et al , 2018] 上の有界伝播による計算 0.76
Figure 1: Upper and lower PWL functions to sigmoid for an increasing number of partition points M (marked with red ticks). 図1: 分割点 M の数が増加するとき、上下のPWL 関数は Sigmoid となる(赤く刻まれている)。 0.69
Lemma 3.1 guarantees that we can bound the non-linear activation functions using PWL functions. lemma 3.1 は pwl 関数を用いて非線形活性化関数を制限できることを保証する。 0.61
Crucially, PWL functions can then be encoded into the MILP constraints. 重要なことに、PWL関数はMILP制約にエンコードされる。 0.52
Proposition 1. Let y(i) ables, and η(i) [φ(i)L 第1話。 y(i) を可能とし、η(i) [φ(i)L とする。 0.61
j,l for l = 1, . . . , M, be binary varij,l ∈ [0, 1] be continuous ones. j,l for l = 1, . . . . , m, be binary varij,l ∈ [0, 1] は連続 1 である。 0.88
Consider φ(i) j ∈ ] then it follows that ζ (i) implies: M(cid:88) M(cid:88) φ(i) j ∈ ] を考えると、(i) は M(cid:88) M(cid:88) を意味する。 0.91
j = σ(i)(cid:16) M(cid:88) j ≤ M(cid:88) j = σ(i)(cid:16) M(cid:88) j ≤ M(cid:88) 0.45
η(i) j,l = 1, φ(i) η(i) j,l = 1, φ(i) 0.43
j,l ≤ ζ (i) η(i) j,l ≤ (i) η(i) である。 0.89
η(i) j,l + η(i) η(i) j,l + η(i) 0.42
y(i) j,l = 1, y(i) j,l = 1 0.37
ζPWL,(i),L ζPWL,(i),U シュPWL(i)L シュPWL(i,U) 0.65
M(cid:88) φ(i)L j,l η(i) M(第88回) φ(i)L j,l η(i) 0.52
j,l , y(i) j,l ≤ j,l,y(i) j,l ≤ 0.40
, φ(i)U j,l+1, ,φ(i)U j,l+1 である。 0.52
η(i) j,l . η(i) j,l である。 0.75
j = φ(i) j j = φ(i)j である。 0.56
(cid:17) l=1 (cid:17) l=1 0.34
l=1 j j l=1 l=1 j j l=1 0.36
j,l j,l l=1 j.l. j.l. l=1 0.35
l=1 A proof can be found in Appendix A. Proposition 1 ensures that the global behaviour of each NN neuron can be over-approximated by 5 linear constraints using 2M auxiliary variables. l=1 Appendix A. Proposition 1では、各NNニューロンのグローバルな振る舞いが2M補助変数を用いて5つの線形制約によって過剰に近似できることが証明されている。 0.51
Employing Proposition 1 we can encode the model constraint of Equation (2) into the MILP form in a sound way. 命題1を用いることで、方程式(2)のモデル制約を健全な方法でミルプ形式に符号化することができる。 0.66
The over-approximation error does not depend on the MILP formulation (which is exact), but on the PWL bounding, and is hence controllable through the selection of the number of grid points M, and becomes exact in the limit. 過近似誤差はMILPの定式化(正確には)には依存しないが、PWLの有界化により、グリッド点数Mの選択によって制御可能となり、その極限において正確となる。 0.62
Notice that in the particular case of ReLU activation functions the over-approximation is exact for any M > 0. ReLU 活性化関数の特定の場合において、過近似は任意の M > 0 に対して完全である。 0.72
Proposition 2. Assume σ(i) to be continuously differentiable everywhere in [φ(i)L ], except possibly in a finite set. 第2話。 σ(i) を [φ(i)l ] において至るところで連続的に微分可能であると仮定する。 0.57
Then PWL lower and upper bounding functions of Lemma 3.1 converge uniformly to σ(i) as M goes to infinity. このとき、Lemma 3.1 の下界と上界の関数 PWL は M が無限大になるにつれて σ(i) に一様収束する。 0.63
, φ(i)U j j ,φ(i)U j j 0.42
Furthermore, define ∆M = (φ(i)U さらに、sm = (φ(i)U と定義する。 0.74
)/M, then for finite values of M the error on the lower (resp. upper) bounding in convex (resp. concave) regions of σ(i) for φ ∈ [φ(i) )/M ならば、M の有限値に対して φ ∈ [φ(i) に対する σ(i) の凸(逆凹)領域における下(逆上)境界上の誤差 0.79
j,l+1] is given by: j j,l+1]は、 j 0.57
j − φ(i)L and upper (resp. lower) in concave (resp. convex) regions: j −φ(i)L concave (resp. convex) 領域の上部 (resp. lower) 0.50
e2(φ) ≤ ∆M e2(φ) ≤ \m である。 0.57
φ(i) j,l + ∆M ∆M φ(i) j,l + が成立する。 0.74
j,l ) + σ(cid:48)(φ(i) j,l ) j,l)。 + σ(cid:48)(φ(i) j,l ) 0.68
j,l , φ(i) e1(φ) ≤ ∆M 2 j,l , φ(i) e1(φ) ≤ ≤ M 2 0.45
(cid:18) (cid:16)  σ (cid:18) (cid:16) σ である。 0.63
σ(cid:48)(φ(i) σ(cid:48)(φ(i) 0.49
j,l+1 − ∆M φ(i) 2 j,l+1 − イム φ(i) 2 0.95
j,l+1) − σ(cid:48)(cid:18) (cid:17) − σ(φ(i) j,l+1) − σ(cid:48)(cid:18) (cid:17) − σ(φ(i) 0.44
(cid:19)(cid:19)  . (cid:19)(cid:19)。 0.39
A proof of Proposition 2 is given in Appendix A, alongside 命題2の証明は Appendix A で同時に与えられる 0.66
an experimental analysis of the convergence rate. 収束率の実験的な分析です 0.70
We remark that the PWL bound can be used over all commonly employed activation functions σ. 一般に用いられる活性化関数 σ の全てに PWL 境界が適用可能であることに留意する。 0.74
The only assumption made is that σ has a finite number of inflection points over any compact interval of R. For convergence (Prop. 2) we require continuous differentiability almost everywhere, which is satisfied by commonly used activations. R の任意のコンパクト区間上で σ が有限個の屈折点を持つという仮定は、収束のため (Prop. 2) ほとんど至る所で連続微分可能性を必要とし、これはよく使われる活性化によって満たされる。 0.75
3.2 Fairness Constraint 3.2フェアネス制約 0.58
The encoding of the fairness constraint within the MILP formulation depends on the specific form of the metric dfair. milp の定式化におけるフェアネス制約の符号化は計量 dfair の特定の形式に依存する。 0.72
Weighted (cid:96)p Metric: The weighted (cid:96)p metric can be tackled by employing rectangular approximation regions. 重み付き(cid:96)pメトリック:重み付き(cid:96)pメトリックは、矩形近似領域を用いて取り組むことができる。 0.66
While this is straightforward for the (cid:96)∞ metric, for the remaining cases interval abstraction can be used [Dantzig, 2016]. これは (cid:96)∞ メトリックでは単純であるが、残りのケースでは区間の抽象化が利用できる [dantzig, 2016]。 0.77
Mahalanobis Metric: We first compute an orthogonal decomposition of S as in U T SU = Λ, where U is the eigenvector matrix of S and Λ is a diagonal matrix with S eigenvalues as entries. マハラノビス計量:まず、u が s の固有ベクトル行列で λ が s の固有値の対角行列である u t su = λ のように s の直交分解を計算する。
訳抜け防止モード: マハラノビス計量 : まず最初に、U T SU = ... のように S の直交分解を計算する。 ここで U は S の固有ベクトル行列であり、n は S の固有値を持つ対角行列である。
Consider the rotated variables z(cid:48) = U T x(cid:48) and z(cid:48)(cid:48) = U T x(cid:48)(cid:48), then we have that Equation (3) can be re-written as (z(cid:48)−z(cid:48)(cid:48))T Λ(z(cid:48)−z(cid:48)(cid:48)) ≤ 2. 回転変数 z(cid:48) = u t x(cid:48) と z(cid:48)(cid:48) = u t x(cid:48)(cid:48) を考えると、方程式 (3) は (z(cid:48)−z(cid:48)(cid:48))t λ(z(cid:48)−z(cid:48)(cid:48) ≤ である。
訳抜け防止モード: 回転変数 z(cid:48 ) = U T x(cid:48 ) および z(cid:48)(cid:48 ) = U T x(cid:48)(cid:48 ) そうすれば 方程式 (3 ) は (z(cid:48)−z(cid:48)(cid:48))T s(z(cid:48)−z(cid:48)(cid:48 ) ) ≤ s2 と書くことができる。
By simple algebra we thus have that, for each i, (z(cid:48) . したがって、単純代数により、各 i に対して (z(cid:48) である。 0.62
By transforming back to the original variables, we obtain that Equation (3) can be overapproximated by: − . 元の変数に変換することで、方程式 (3) は: − で近似することができる。 0.68
Feature Embedding Metric We tackle the case in which dfair(x(cid:48), x(cid:48)(cid:48)) = ϕ used in the metric definition, ˆd(ϕ(x(cid:48)), ϕ(x(cid:48)(cid:48))) , is a NN embedding. 特徴埋め込み計量 dfair(x(cid:48), x(cid:48)(cid:48)) = φ が計量定義で使われる場合、 φ(x(cid:48)(cid:48)), φ(x(cid:48)(cid:48)) はnn埋め込みである。 0.73
This is straightforward as ϕ can be encoded into MILP as for the model constraint. φ はモデル制約として MILP にエンコードできるため、これは単純である。 0.81
i−z(cid:48)(cid:48) i )2 ≤ 2 √ i−z(cid:48)(cid:48) i )2 ≤ ]2 である。 0.68
≤ U T x(cid:48) − U T x(cid:48)(cid:48) ≤ ≤ U T x(cid:48) − U T x(cid:48)(cid:48) ≤ 0.45
√ diag(Λ) √ diag (複数形 diags) 0.73
diag(Λ) diag (複数形 diags) 0.68
i.e. Λii 3.3 Overall Formulation i.e. 四位 3.3 総合定式化 0.40
We now formulate the MILP encoding for the overapproximation δ∗ ≥ δmax of -δ-IF. 現在、過近似 δ∗ ≥ δmax の MILP 符号化を定式化している。 0.61
For Equation (2), we proceed by deriving a set of approximating constraints for the variables x(cid:48) and x(cid:48)(cid:48) by using the techniques described in (cid:48)(i) Section 3.1. 式 (2) については、(cid:48)(i) 節 3.1 で記述された手法を用いて、変数 x(cid:48) と x(cid:48)(cid:48) の近似制約を導出する。 0.71
We denote the corresponding variables as φ , j (cid:48)(i) , respectively. 対応する変数はそれぞれ φ , j (cid:48)(i) である。 0.71
The NN final output on x(cid:48) ζ j and on x(cid:48)(cid:48) will then respectively be ζ(cid:48)(L) and ζ(cid:48)(cid:48)(L), so that δ = ζ(cid:48)(L) − ζ(cid:48)(cid:48)(L). x(cid:48)(cid:48) と x(cid:48)(cid:48) 上の nn の最終的な出力は、それぞれ s(cid:48)(l) と s(cid:48)(cid:48)(l) であるので δ = s(cid:48)(l) − s(cid:48)(cid:48)(l) となる。 0.78
Finally, we over-approximate Equation (3) as described in Section 3.2. 最後に、3.2節で述べたように、過近似方程式 (3)。 0.54
In the case of Mahalanobis (cid:48)(cid:48)(i) j マハラノビスの場合 (cid:48)(cid:48)(i)j 0.39
and φ (cid:48)(cid:48)(i) j そして φ (cid:48)(cid:48)(i)j 0.60
, ζ 420240. 1.0()PWL,LPWL,U , ζ 420240. 1.0()PWL,LPWL,U 0.46
Figure 2: Certified bounds on IF (δ∗) for different architecture parameters (widths and depths) and maximum similarity () for the Adult and the Crime datasets. 図2: 異なるアーキテクチャパラメータ(幅と深さ)に対する if (δ∗) の認定境界と、成人と犯罪データセットに対する最大類似度 (\)。 0.73
Top Row: Mahalanobis metric used for dfair. 最上列: dfairに使用されるマハラノビス計量。 0.69
Bottom Row: Weighted (cid:96)∞ metric used for dfair. Bottom Row: dfairに使用される重み付き(cid:96)∞メトリック。 0.71
distance, we thus obtain: 距離は次のようになる。 0.58
max x(cid:48),x(cid:48)( cid:48)∈X subjectto = ζ(cid:48)(L) − ζ(cid:48)(cid:48)(L) max x(cid:48)x(cid:48)(c id:48)(cid:48)公開されている。 0.64
|δ| (4) M(cid:88) |δ| (4) M(第88回) 0.45
for i = 1, . . . , L, j = 1, . . . , ni, † ∈ {(cid:48),(cid:48)(ci d:48) } : j,l ≤ η(i) y(i) M(cid:88) i = 1, . . . . , L, j = 1, . . . . . . , ni, . ∈ {(cid:48),(cid:48)(ci d:48) } : j,l ≤ η(i) y(i) M(cid:88)
訳抜け防止モード: i = 1 . . . , l, j = 1, ... に対して (cid:48),(cid:48)(ci d:48 ) } : j, j である。 l ≤ η(i ) y(i ) m(cid:88 )
†(i) η j,l = 1, η(i) η j,l = 1 である。 0.61
†(i) y j,l = 1, i) y j,l = 1 である。 0.59
ni−1(cid:88) ni−1(cid:88) 0.33
M(cid:88) l=1 M(第88回) l=1 0.46
W (i) jk x W (i) jk x 0.42
† k + b(i) k + b(i) である。 0.76
†(i) j = j = (i) である。 0.48
j,l + η(i) j,l + η(i) 0.42
j,l+1 l=1 †(i) j = j,l+1 l=1 は (i) j = である。 0.48
φ k=1 φ k=1 である。 0.37
ζPWL,(i),L M(cid:88) 2(cid:112)diag(Λ) シュPWL(i)L m(cid:88)~2(cid:112) diag(λ) 0.47
l=1 j,l − l=1 j.l. − 0.37
j , φ j ≤ M(cid:88) j , φ j ≤ M(cid:88) 0.44
†(i) †(i) j,l ≤ ζ シュ(イ) j(i) , j(l ≤ ) である。 0.43
η φ(i)L j,l η η φ(i)L j,l η 0.43
†(i) j,l l=1 は (i) j,l l=1 0.41
ζPWL,(i),U シュPWL(i,U) 0.72
j,l †(i) j,l j.l. は (i) j,l 0.45
η ≤ U x(cid:48) − U x(cid:48)(cid:48) ≤ η ≤ U x(cid:48) − U x(cid:48)(cid:48) ≤ 0.43
l=1 2(cid:112)diag(Λ) l=1 2(cid:112)diag(λ) である。 0.42
. Though similar, the above MILP is significantly different from those used for adversarial robustness (see e g Tjeng et al [2019]). . 類似しているが、上記のmilpは、敵対的堅牢性のために使用されるものとは大きく異なる(e g tjeng et al [2019])。 0.54
First, rather than looking for perturbations around a fixed a point, here we have both x(cid:48) and x(cid:48)(cid:48) as variables. まず、固定点の周りの摂動を探すのではなく、変数として x(cid:48) と x(cid:48)(cid:48) の両方を持つ。 0.70
Furthermore, rather than being local, the MILP problem for -δ-IF is global, over the whole input space X. As such, local approximations of non-linearities cannot be used, as the bounding needs to be valid simultaneously over the whole input space. さらに、局所であるよりは、入力空間 x 全体にわたって s-δ-if のミルプ問題は大域的であり、従って、非線形の局所近似は、バウンディングが入力空間全体にわたって同時に有効でなければならないため、使用できない。 0.70
Finally, while in adversarial robustness one can ignore the last sigmoid layer, for IF, because of the two optimisation variables, one cannot simply map from the last pre-activation value to the class probability, so that even for ReLU NNs one needs to employ bounding of nonpiecewise activations for the final sigmoid. 最後に、逆のロバスト性では、IFの2つの最適化変数のため、最後のシグモイド層を無視することができるが、ReLU NN の場合でさえ、最後のシグモイドの非派手なアクティベーションのバウンダリングを採用する必要があるため、最後のプレアクティベーション値からクラス確率に単純にマッピングすることはできない。 0.67
Theorem 1. Consider  ≥ 0, a similarity dfair and a NN f w. 理論1。 類似性 dfair と NN f w を考える。 0.52
Let x(cid:48) ∗ be the optimal points for the optimisation problem in Equation (4). x(cid:48) ∗ を方程式 (4) における最適化問題の最適点とする。 0.81
Define δ∗ = |f w(x(cid:48) ∗) − f w(x(cid:48)(cid:48) ∗ )|. δ∗ = |f w(x(cid:48) ∗) − f w(x(cid:48)(cid:48) ∗ )| を定義する。 0.87
Then f w is -δ-individually fair w.r.t. dfair for any δ ≥ δ∗. すると f w は任意の δ ≥ δ∗ に対して δ-個々に等しい。 0.76
By combining the results from this section, we have: この節の結果を組み合わせると、次のようになる。 0.59
∗ and x(cid:48)(cid:48) ∗ と x(cid:48)(cid:48) 0.41
Theorem 1, whose proof can be found in Appendix A, states that a solution of the MILP problem provides us with a sound estimation of individual fairness of an NN. Appendix A で証明できる Theorem 1 では、MILP 問題の解が NN の個々人の公平さを音速で推定する。 0.53
Crucially, it can be shown that branch-and-bound techniques for the solution of MILP problems converge in finite time to the optimal solution [Del Pia and Weismantel, 2012], while furthermore providing us with upper and lower bounds for the optimal value at each iteration step. 重要な点として、ミルプ問題の解に対する分岐・境界法が有限時間に最適解 [del pia and weismantel, 2012] に収束し、さらに各反復ステップで最適な値に対する上限と下限を与えることができる。 0.67
Therefore, we have: Corollary 1. したがって、以下のとおりである。 0.52
Let δL k lower and upper bounds computed by a MILP solver at step k > 0. ステップ k > 0 でミルプソルバによって計算される δl k と上限を以下にする。 0.78
Then we have that: k ≤ δ∗ ≤ δU k . すると k ≤ δ∗ ≤ δU k となる。 0.72
Furthermore, given a precision, τ, there exist δL a finite k∗ such that δU さらに、精度 τ が与えられたとき、δu が成り立つ有限 k∗ の δl が存在する。 0.66
k and δU k∗ − δL k と δU k∗ − δl である。 0.68
k∗ ≤ τ. k∗ ≤ τ である。 0.65
That is, our method is sound and anytime, as at each iteration step in the MILP solving we can retrieve a lower and an upper bound on δ∗, which can thus be used to provide provable guarantees while converging to δ∗ in finite time. すなわち、MILPの解法における各反復ステップにおいて、δ∗ 上の下限と上限を検索できるので、有限時間で δ∗ に収束しながら証明可能な保証を提供することができる。
訳抜け防止モード: すなわち、milpの解法の各反復ステップにおいて、δ∗ 上の下限と上限を検索できるので、我々の手法はいつでも健全である。 これにより、有限時間で δ∗ に収束しながら証明可能な保証を提供することができる。
Complexity Analysis The encoding of the model constraint can be done in O(LM nmax), where nmax is the maximum width of f w, L is the number of layers, and M is the number of grid points used for the PWL bound. 複素解析 モデル制約の符号化は O(LM nmax) で行うことができ、nmax は f w の最大幅、L は層数、M は PWL 境界に使用される格子点の数である。
訳抜け防止モード: 複雑度解析 モデル制約の符号化は O(LM nmax ) で行うことができる。 nmax が f w の最大幅である場合、L は層数である。 および M は PWL 境界に使用される格子点の数である。
The computational complexity of the fairness constraints depends on the similarity metric employed. 公正性制約の計算複雑性は、使用される類似度計量に依存する。 0.71
While for (cid:96)∞ no processing needs to be done, the computational complexity is O(n3) for the Mahalanobis distance and again O(LM nmax) for the feature embedding metric. (cid:96)∞ では処理を行わなくてもよいが、計算複雑性はマハラノビス距離の O(n3) と、特徴埋め込み計量の O(LM nmax) である。 0.77
Each iteration of the MILP solver entails the solution of a linear programming problem and is hence O((M nmaxL)3). MILPソルバの各反復は線形計画問題の解を持ち、従って O((M nmaxL)3) である。 0.68
Finite time convergence of the MILP solver to δ∗ with precision τ is exponential in the number of problem variables, in τ and . 精度 τ のミルプソルバから δ∗ への有限時間収束は、τ と τ における問題変数の数において指数関数的である。 0.81
3.4 Fairness Training for Neural Networks The -δ-IF MILP formulation introduced in Section 3 can be adapted for the solution of Problem 2. 3.4 ニューラルネットワークの公正トレーニング 第3節で導入された δ-IF MILP の定式化は問題2の解に適用できる。 0.67
The key step is the computation of x∗ in the second component of the modified loss introduced in Problem 2, which is used to introduce fairness directly into the loss of the neural network. 重要なステップは、ニューラルネットワークの損失に直接公平性を導入するために使用される問題2で導入された修正損失の第2成分におけるx∗の計算である。 0.78
This computation can be done by observing that, for この計算は、例えば、それを観察して行うことができる 0.68
i 私は 0.53
every training point xi drawn from D, the computation of i = arg maxx∈X s.t. dx(xi,x)≤ |f w d から引き出されたすべての訓練点 xi は i = arg maxx ∈x s.t. dx(xi,x)となります。 0.78
(xi) − f w (xi) − f w 0.42
(x)| is a parx∗ ticular case of the formulation described in Section 3, where, instead of having two variable input points, only one input point is a problem variable while the other is given and drawn from the training dataset D. Therefore, x∗ i can be computed by solving the MILP problem, where we fix a set of the problem variables to xi, and can be subsequently used to obtain the value of the modified loss function. (x)| は、第3節で記述された定式化の parx∗ の Ticular case であり、2つの変数入力ポイントを持つ代わりに、1つの入力ポイントだけが問題変数であり、もう1つの入力ポイントはトレーニングデータセット D から与えられ、描画される。
訳抜け防止モード: (x)| は、第3節で記述された定式化の parx∗ ticular case である。 ここでは、2つの変数の入力ポイントを持つ代わりに、1つの入力ポイントだけが問題変数である。 もう一つはトレーニングデータセットDから与えられ、描画されます。 x∗ i は MILP 問題を解くことで計算できる。 その後 使えるようになり 修正された損失関数の値を取得する。
Note that these constraints are not cumulative, since they are built for each minibatch, and discarded after optimization is solved to update the weights. これらの制約は各ミニバッチ用に構築され、重みを更新するために最適化された後に破棄されるため累積的ではないことに注意。 0.62
for b = 1, . . . ,(cid:100)|D|/nbatch(cid:101) do i=0 ∼ D b = 1, . . ,(cid:100)|D|/nbatch(cid:101) の場合、i=0 は D である。 0.67
Algorithm 1 Fair Training with MILP. アルゴリズム1 MILPによる公正トレーニング 0.65
Input: NN architecture: f w, Dataset: D, Learning rate: α, Iterations: nepoch, Batch Size: nbatch, Similarity metric: dfair, Maximum similarity: , Fairness Loss Weighting: λ. 入力: NNアーキテクチャ: f w, Dataset: D, Learning rate: α, Iterations: nepoch, Batch Size: nbatch, similarity metric: dfair, Maximum similarity: λ, Fairness Loss Weighting: λ。
訳抜け防止モード: 入力 : NNアーキテクチャ : f w, Dataset : D, 学習率 : α, イテレーション : ネポッチ, バッチサイズ : nbatch, 類似度指標 : dfair, 最大類似度 : λ, フェアネス損失重み : λ。
Output: wfair: weight values balancing between accuracy and fairness. 出力: wfair: 正確さと公平さのバランスをとる重み値。 0.78
B1: wfair ← InitW eights(f w) 2: for t = 1, . . . , nepoch do 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: 17: end for 18: return wfair B1: wfair > InitW eights(f w) 2: for t = 1, . . , nepoch do 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 13: 14: 14: 15: 16: 17: end for 18: return wfair 0.44
{X, Y } ← {xi, yi}nbatch Yclean ← f w(X) [φ(cid:48), ζ(cid:48), φ(cid:48)(cid:48), ζ(cid:48)(cid:48)] ← InitM ILP (f w, dfair, ) XMILP ← ∅ for i = 0, . . . nbatch do φ(cid:48) i, ζ(cid:48) i ← M ILP (xi, φ(cid:48) x∗ XMILP ← XMILP end for YMILP ← f w(XMILP) l ← Lfair(Yclean, Y, YMILP, λ) wfair ← wfair − α∇wl 0, . . nbatch do φ(cid:48) i, . . nbatch do φ(cid:48) i, . . nbatch do φ(cid:48) i, . . nbatch do φ(cid:48) i, . . nbatch do φ(cid:48) i . M ILP (xi, φ(cid:48) x∗ XMILP . XMILP end for YMILP . f w(XMILP) l Lfair(Yclean, Y, YLP, YLP, YLP) . . . . . . . . nbatch do φ(cid:48) i, . . . . nbatch do φ(cid:48) i, . .
訳抜け防止モード: xi, yi}nbatch yclean , f w(x ) [ φ(cid:48 ), { x, y } ] { xi, yi}nbatch yclean ] f w(x ) [ φ(cid:48 )] である。 (cid:48 ) φ(cid:48)(cid:48 ) , (cid:48)(cid:48 ) ] ] initm ilp (f w, ) i = 0, ... に対して xmilp である。 nbatch do φ(cid:48 ) i, i, i, i, m ilp ( xi, φ(cid:48 ) x∗ xmilp , xmilp end for ymilp , f w(xmilp ) l. lfair(yclean,) y , ymilp , λ ) wfair , wfair − α\wl である。
#MILP inputs forward pass #Fair Loss #Optimizer step (here, SGD) #MILP inputs forward pass #Fair Loss #Optimizer step (here, SGD) 0.43
#Sample Batch #Standard forward pass # Section 3 #Sample Batch #Standard forward pass # Section 3 0.42
i ← F ixV arConst(xi) i) F ixV arConst(xi) 0.33
(cid:83){x∗ (cid:83){x∗ 0.39
i, ζ(cid:48) i) i } i, (cid:48) i) i } である。 0.75
#Fix constraints # Solve ‘local’ MILP prob. Fix constraints # Solve ‘local’ MILP prob。 0.36
end for #Weights optimized for fairness & accuracy 終わりだ #公平さと精度に最適化された重み 0.58
We summarise our fairness training method in Algorithm 1. 我々はアルゴリズム1でフェアネストレーニング手法を要約する。 0.64
For each batch in each of the nepoch training epochs, we perform a forward pass of the NN to obtain the output, Yclean (line 5). 各nepochトレーニングエポックのバッチ毎に、nnの前方パスを実行して出力yclean(ライン5)を得る。 0.46
We then formulate the MILP problem as in Section 3 (line 6), and initialise an empty set variable to collect the solutions to the various sub-problems (line 7). 次に、セクション3(ライン6)のようにMILP問題を定式化し、空集合変数を初期化し、様々なサブプロブレム(ライン7)の解を収集する。 0.73
Then, for each training point xi in the mini-batch, we fix the MILP constraints to the variables associated with xi (line 9), solve the resulting MILP for x∗ i in the set that collects the solutions, i.e. XMILP. そして、ミニバッチの各トレーニング点xiに対して、xi(ライン9)に関連する変数にMILP制約を固定し、XMILPという解を収集する集合の x∗ i に対して得られるMILPを解く。 0.68
Finally, we compute the NN predictions on XMILP (line 13); the result is used to compute the modified loss function (line 14) and the weights are updated by taking a step of gradient descent. 最後に、XMILP(ライン13)上のNN予測を計算し、修正された損失関数(ライン14)を計算し、勾配降下のステップを踏んで重みを更新する。
訳抜け防止モード: 最後に、XMILP (行13) 上のNN予測を計算する。 ; 結果が使われる 修正された損失関数(14行目)を計算する 重みは勾配降下の段階を踏むことで更新されます
The resulting set of weights wfair balances the empirical accuracy and fairness around the training points. 結果として得られる重みのセットは、トレーニングポイントの周りの経験的精度と公平さのバランスを取る。 0.57
i , and place x∗ i , and place x∗ 0.50
The choice of λ affects the relative importance of standard training w.r.t. the fairness constraint: λ = 1 is equivalent to standard training, while λ = 0 only optimises for fairness. λ = 1 は標準訓練と等価であり、λ = 0 はフェアネスに対してのみ最適化される。
訳抜け防止モード: λの選択は標準訓練w.r.t.フェアネス制約の相対的重要性に影響する λ = 1 は標準訓練と同値であるが、λ = 0 は公平性のみを最適化する。
In our experiments we keep λ = 1 for half of the training epochs, and then change it to λ = 0.5. 実験では、トレーニングエポックの半分に対してλ = 1 を保ち、次に λ = 0.5 に変更する。 0.83
Figure 3: Balanced accuracy / individual fairness trade-off for NNs. 図3: NNの精度/個人の公平性のトレードオフのバランス。 0.71
4 Experiments In this section, we empirically validate the effectiveness of our MILP formulation for computing -δ-IF guarantees as well as for fairness training of NNs. 4 実験 この節では, NNの公平性トレーニングだけでなく, シュδ-IF保証計算におけるMILP定式化の有効性を実証的に検証する。 0.67
We perform our experiments on four UCI datasets [Dua and Graff, 2017]: the Adult dataset (predicting income), the Credit dataset (predicting payment defaults), the German dataset (predicting credit risk) and the Crime dataset (predicting violent crime). 私たちは、4つのUCIデータセット(Dua and Graff, 2017)、成人データセット(収入予測)、クレジットデータセット(支払デフォルト予測)、ドイツのデータセット(信用リスク予測)、犯罪データセット(暴力犯罪予測)で実験を行いました。 0.71
In each case, features encoding information regarding gender or race are considered sensitive. いずれの場合も、性別や人種に関する情報をエンコードする機能は敏感であると考えられる。 0.57
In the certification experiments we employ a precision τ for the MILP solvers of 10−5 and a time cutoff of 180 seconds. 認証実験では、10−5のミルプ解法と180秒のタイムカットオフに対して精度τを用いる。 0.68
We compare our training approach with two different learning methods: FairnessThrough-Unaw areness (FTU), in which the sensitive features are simply removed, and SenSR [Yurochkin et al , 2020]. この学習手法をftu(fairness through-unawareness) とsensr(yurochkin et al, 2020)の2つの異なる学習方法と比較した。
訳抜け防止モード: FTU(FairnessThrough- Unawareness)とFTU(FairnessThrough- Unawareness)の2つの異なる学習方法との比較を行った。 SenSR[Yurochkin et al, 2020 ]は, 感度機能を取り除いた。
Exploration of the cutoff, group fairness, certification of additional NNs, scalability of the methods and additional details on the experimental settings are given in Appendix D and C.4 カットオフの探索、グループフェアネス、追加のNNの認証、メソッドのスケーラビリティ、および実験設定に関する追加の詳細は、Appendix DとC.4で述べられている。
訳抜け防止モード: カットオフの探索、グループフェアネス、追加のNNの認証 メソッドのスケーラビリティと実験設定の詳細は、Appendix D と C.4 に記載されている。
Fairness Certification We analyse the suitability of our method in providing non-trivial certificates on -δ-IF with respect to the similarity threshold  (which we vary from 0.01 to 0.25), the similarity metric dfair , the width of the NN (from 8 to 64), and its number of layers (from 1 to 4). フェアネス認証(fairness certification)は、類似度閾値 s(0.01から0.25)、類似度メートル dfair、nnの幅(8から64)、および層数(1から4)に対して、δ-ifの非自明な証明を提供することにおける、この方法の適合性を分析する。 0.70
These reflect the characteristics of NNs and metrics used in the IF literature [Yurochkin et al , 2020, Ruoss et al , 2020, Urban et al , 2020]; for experiments on larger architectures, demonstrating the scalability of our approach, see Appendix D.3. これらは、大規模なアーキテクチャの実験のために、我々のアプローチのスケーラビリティを実証するために、IF文献(Yurochkin et al , 2020, Ruoss et al , 2020, Urban et al , 2020)で使用されるNNの特徴とメトリクスを反映している。
訳抜け防止モード: これらは NN の特徴と IF 文献で使われる指標を反映している[Yurochkin et al, 2020, Ruoss et al, 2020, Urban et al 大型アーキテクチャの実験のため,2020 年 ] アプローチのスケーラビリティを実証しています Appendix D.3を参照。
For each dataset we train the NNs by employing the FTU approach. 各データセットに対して、FTUアプローチを使用してNNをトレーニングします。 0.57
The results for these analyses are plotted in Figure 2 for the Adult and the Crime datasets (results for Credit and German datasets can be found in Appendix D.1). これらの分析の結果は、成人向けの図2にプロットされ、犯罪データセット(クレジットとドイツのデータセットの結果は付録d.1)に示される。 0.72
Each heat map depicts the variation of δ∗ as a function of  and the NN architecture. それぞれの熱写像は δ∗ の変分を t と NN アーキテクチャの関数として表す。 0.82
The top row in the figure was computed by considering the Mahalanobis similarity metric; the bottom row was 図の一番上の列はマハラノビスの類似度メトリックを考慮して計算され、下段の列は 0.64
4An implementation of the method and of the experiments can be found at https://github.com/e liasbenussi/nn-cert- individual-fairness. 4an メソッドの実装と実験は https://github.com/e liasbenussi/nn-cert- individual-fairness で見ることができる。 0.55
to those trained by Yurochkin et al [2020]. Yurochkin et al[2020]のトレーニングを受けた人たちに。 0.65
As expected, we observe that FTU performs the worst in terms of certified fairness, as simple omission of the sensitive features is unable to obfuscate latent dependencies between the sensitive and non-sensitive features. 期待されたように、FTUは、センシティブな特徴の単純な欠落が、センシティブな特徴と非センシティブな特徴の間の潜伏依存性を損なうことができないため、証明された公平さという点で最悪の結果をもたらす。 0.48
As previously reported in the literature, SenSR significantly improves on FTU by accounting for features latent dependencies. 文献で以前報告されたように、SenSRは、潜在依存性を考慮し、FTUを大幅に改善している。 0.54
However, on all four datasets, our MILP-based training methodology consistently improves IF by orders of magnitude across all the architectures when compared to SenSR. しかし、4つのデータセットすべてに対して、我々のMILPベースのトレーニング手法は、SenSRと比較して、すべてのアーキテクチャで桁違いにIFを改善する。 0.53
In particular, for the architectures with more than one hidden layer, on average, MILP outperforms FTU by a factor of 78598 and SenSR by 27739. 特に、複数の隠れた層を持つアーキテクチャでは、平均してmilpはftuを748598倍、sensrを27739倍に上回っている。 0.49
Intuitively, while SenSR and our approach have a similar formulation, the former is based on gradient optimisation so that no guarantees are provided in the worst case for the training loss. 直感的には、sensrと我々のアプローチは類似した定式化を持っているが、前者は勾配最適化に基づいており、トレーニング損失の最悪のケースでは保証が提供されない。
訳抜け防止モード: 直感的には、SenSRと我々のアプローチも同様に定式化されている。 前者は勾配最適化に基づくので トレーニング損失の最悪の場合 保証は提供されない。
In contrast, by relying on MILP, our method optimises the worst-case behaviour of the NN at each step, which further encourages training of individually fair models. 対照的に、MILPを利用することで、各ステップにおけるNNの最悪の動作を最適化し、個別に公正なモデルのトレーニングを促進する。 0.48
The cost of the markedly improved guarantees is, of course, a higher computational costs. 大幅に改善された保証のコストは、もちろん高い計算コストである。 0.68
In fact, the training of the models in Figure 3 with MILP had an average training time of about 3 hours. 実際、図3のmilpによるモデルのトレーニングでは、平均トレーニング時間は3時間ほどでした。 0.65
While the increased cost is significant, we highlight that this is a cost that is only paid once and may be justified in sensitive applications by the necessity of fairness at deployment time. コストの増大は大きいが、これは1回だけ支払われるコストであり、デプロイ時の公平性の必要性によってセンシティブなアプリケーションで正当化される可能性があることを強調する。 0.61
We furthermore notice that, while our implementation is sequential, parallel per-batch solution of the MILP problems during training would markedly reduce the computational time and leave for future work the parallelisation and tensorisation of the techniques. さらに,本実装は逐次的でありながら,訓練中のmilp問題のバッチ毎並列解は計算時間を著しく短縮し,今後の並列化とテンソル化の作業に残すことに留意した。 0.78
Interestingly, we find that balanced accuracy also slightly improved with SenSR and MILP training in the tasks considered here, possibly as a result of the bias in the class labels w.r.t. sensitive features. 興味深いことに、バランスの取れた精度はsensrとmilpのトレーニングによって、おそらくクラスラベルw.r.t.の敏感な特徴のバイアスによって、少し改善されている。 0.57
Finally, in Figure 4 we further analyse the certified δ∗-profile w.r.t. to the input similarity , varying the value of  used in for the ceritification of -δ-IF. 最後に、図4では、認証されたδ∗-プロファイル w.r.t. を入力の類似度 s にさらに分析し、 s-δ-if の証明に使用される s の値を変化させる。 0.60
In the experiment, both SenSR and MILP are trained with  = 0.2, which means that our method, based on formal IF certificates, is guaranteed to outperform SenSR up until  = 0.2 (as in fact is the case). 実験では, SenSR と MILP を 0.2 でトレーニングし, 公式な IF 証明書に基づく手法では 0.2 まで SenSR を上回ることが保証されている(実際はそうである)。 0.74
Beyond 0.2, no such statement can be made, and it is still theoretically possible for SenSR to outperform MILP in particular circumstances. 0.2を超えるとそのような主張はできないが、SenSRが特定の状況においてMILPを上回る理論上はまだ可能である。 0.61
Empirically, however, MILP-based training still largely outperforms SenSR in terms of certified fairness obtained. しかし、MILPをベースとしたトレーニングは、証明された公正性の観点からも、SenSRよりもはるかに優れています。 0.34
5 Conclusion We introduced an anytime MILP-based method for the certification and training of -δ-IF in NNs, based on PWL bounding and MILP encoding of non-linearities and similarity metrics. 5結論 非線形性および類似性指標のpwlバウンディングとmilpエンコーディングに基づき,nns における-δ-if の認証と訓練のためのanytime milp ベースの手法を導入した。 0.67
In an experimental evaluation comprising four datasets, a selection of widely employed NN architectures and three types of similarity metrics, we empirically found that our method is able to provide the first non-trivial certificates for -δ-IF in NNs and yields NNs which are, consistently, orders of magnitude more fair than those obtained by a competitive IF training technique. 4つのデータセット, 広く使用されているNNアーキテクチャの選択, および3種類の類似度指標からなる実験結果から, 本手法は, NNにおいて初となる非自明な証明を初めて提供し, 一貫して, 競争力のあるIF訓練手法で得られるものよりも桁違いに公平であるNNを得られることを示した。 0.79
Acknowledgements This project was funded by the ERC European Union’s Horizon 2020 research and innovation programme (FUN2MODEL, grant agreement No. 834115). このプロジェクトは、ERC EUのHorizon 2020 Research and Innovation Program (FUN2MODEL, grant agreement No. 834115)によって資金提供された。 0.73
Figure 4: Certified δ∗ as a function of the maximum similarity . 図4: δ∗ を最大類似性の関数として認定する。 0.86
computed for a weighted (cid:96)∞ metric (with coefficients chosen as in John et al [2020]) and results for the feature embedding metrics are given in Appendix D.2. 重み付き (cid:96)∞ 計量 (John et al [2020] で係数が選ばれる) で計算され、特徴埋め込みメトリクスの結果は Appendix D.2 で与えられる。 0.81
As one might expect, we observe that, across all the datasets and architectures, increasing  correlates with an increase in the values for δ∗, as higher values of  allow for greater feature changes. 予想されるように、すべてのデータセットやアーキテクチャにおいて、δ∗ の値の増加と δ∗ の値の増加が相関している。
訳抜け防止モード: 予想通り、すべてのデータセットとアーキテクチャにわたって、私たちはそれを観察します。 増加。 δ∗ の値の増加と相関する 高次の値は、より大きな機能変更を可能にする。
Interestingly, δ∗ tends to decrease (i.e., the NN becomes more fair) as we increase the number of NN layers. 興味深いことに、δ∗ は NN 層の数が増えるにつれて減少する傾向にある(すなわち、NN 層はより公平になる)。 0.67
This is the opposite to what is observed for the adversarial robustness, where increased capacity generally implies more fragile models [Madry et al , 2017]. これは、キャパシティの増加が一般的により脆弱なモデル[madry et al , 2017]を意味する、敵対的ロバスト性に対して観察されるものと逆である。 0.57
In fact, as those NNs are trained via FTU, the main sensitive features are not accessible to the NN. 実際、これらのNNはFTUを介して訓練されているため、主要な機密機能はNNにアクセスできない。 0.50
A possible explanation is that, as the number of layers increases, the NN’s dependency on the specific value of each feature diminishes, and the output becomes dependent on their nonlinear combination. 考えられる説明は、レイヤー数が増加するにつれて、nnのそれぞれの特徴の特定の値への依存が減少し、出力はそれらの非線形結合に依存する。 0.73
The result suggests that over-parametrised NNs could be more adept at solving fair tasks – at least for IF definitions – though this would come with a loss of model interpretability, and exploration would be needed to assess under which condition this holds. その結果、過度にパラメータ化されたNNは、少なくともIF定義において、公正なタスクの解決により適している可能性があることを示唆している。
訳抜け防止モード: その結果、過剰な-パラメトリドNNは、少なくともIF定義では、公平なタスクを解くのにより適している可能性が示唆されている。 これはモデル解釈能力の喪失を伴います 調査はどの条件で行うかを評価するのに必要です
Finally, we observe that our analysis confirms how FTU training is generally insufficient in providing fairness on the model behaviour for -δ-IF. 最後に,ftu訓練が一般に,モデル行動に公平性を与えるのに不十分であることを確認した。 0.51
For each model, individuals that are dissimilar by  ≥ 0.25 can already yield a δ∗ > 0.5, meaning they would get assigned to different classes if one was using the standard classification threshold of 0.5. それぞれのモデルについて、0.25 未満の個人は δ∗ > 0.5 を既に得るので、標準分類閾値 0.5 を使用すれば、異なるクラスに割り当てられることになる。 0.85
Fairness Training We investigate the behaviour of our fairness training algorithm for improving -δ-IF of NNs. フェアネストレーニング nns の ~-δ-if 改善のためのフェアネストレーニングアルゴリズムの挙動について検討する。 0.61
We compare our method with FTU and SenSR [Yurochkin et al , 2020]. FTU と SenSR [Yurochkin et al , 2020] との比較を行った。 0.68
For ease of comparison, in the rest of this section we measure fairness with dfair equal to the Mahalanobis similarity metric, with  = 0.2, for which SenSR was developed. 比較の容易さのために、本節の他の部分では、dfair がマハラノビス類似度メートル法に等しいフェアネスを測定し、そのために sensr が開発された。
訳抜け防止モード: 比較の容易さのため、この節の残りの部分では、マハラノビス類似度計量と等しいdfairでフェアネスを測定する。 その結果, SenSR が開発された。
The results for this analysis are given in Figure 3, where each point in the scatter plot represents the values obtained for a given NN architecture. この分析の結果は図3で示され、散乱プロットの各点が与えられたnnアーキテクチャで得られた値を表している。 0.76
We train architectures with up to 2 hidden layers and 64 units, in order to be comparable 最大2つの隠れレイヤと64ユニットのアーキテクチャをトレーニングし、同等にしています。 0.65
References Aws Albarghouthi, Loris D’Antoni, Samuel Drews, and Aditya Nori. Aws Albarghouthi、Loris D’Antoni、Samuel Drews、Aditya Noriなどを参照。 0.72
FairSquare: Probabilistic Verification for Program Fairness. fairsquare: プログラムフェアネスの確率的検証。 0.72
In OOPSLA ’17. OOPSLA ’17。 0.30
ACM, 2017. 2017年、ACM。 0.87
Julia Angwin, Jeff Larson, Surya Mattu, and Lauren Kirchner. ジュリア・アングウィン、ジェフ・ラーソン、スリア・マトゥ、ローレン・キルヒナー。 0.43
Machine Bias: There’s software used across the country to predict future criminals. Machine Bias: 将来の犯罪者を予測するために、全国的に使われているソフトウェアがあります。 0.67
And it’s biased against blacks. そしてそれは黒人に偏っている。 0.62
ProPublica, 2016. 2016年、プロパブリカ。 0.68
Solon Barocas and Andrew D. Selbst. Solon BarocasとAndrew D. Selbst。 0.45
Big Data’s Disparate Big Dataの相違点 0.64
Impact. SSRN Electronic Journal, 2018. 衝撃 SSRN Electronic Journal、2018年。 0.61
Osbert Bastani, Xin Zhang, and Armando Solar-Lezama. Osbert Bastani、Xin Zhang、Armando Solar-Lezama。 0.40
Probabilistic verification of fairness properties via concentration, 2018. 集中度による公正特性の確率的検証, 2018年 0.70
Tolga Bolukbasi, Kai Wei Chang, James Zou, Venkatesh Saligrama, and Adam Kalai. Tolga Bolukbasi、Kai Wei Chang、James Zou、Venkatesh Saligrama、Adam Kalai。 0.34
Man is to computer programmer as woman is to homemaker? 男性はコンピュータープログラマーであり、女性はホームメイカーですか? 0.76
Debiasing word embeddings. 単語の埋め込みを嫌う。 0.50
In NeurIPS, 2016. 2016年、NeurIPS。 0.68
Akhilan Boopathy, Tsui-Wei Weng, Pin-Yu Chen, Sijia Liu, and Luca Daniel. Akhilan Boopathy, Tsui-Wei Weng, Pin-Yu Chen, Sijia Liu, Luca Daniel 0.42
Cnn-cert: An efficient framework for certifying robustness of convolutional neural networks. Cnn-cert: 畳み込みニューラルネットワークの堅牢性を証明するための効率的なフレームワーク。 0.63
In AAAI, volume 33, 2019. aaai』第33巻、2019年。 0.45
George Dantzig. ジョージ・ダンツィヒ。 0.72
Linear programming and extensions. 線形プログラミングと拡張。 0.71
Princeton university press, 2016. プリンストン大学出版局、2016年。 0.69
Alberto Del Pia and Robert Weismantel. アルベルト・デル・ピアとロバート・ヴァイサンテル。 0.53
On convergence in mixed integer programming. 混合整数計画における収束について 0.55
Mathematical programming, 135(1):397–412, 2012. 数学プログラミング 135(1):397–412, 2012 0.79
Dheeru Dua and Casey Graff. Dheeru DuaとCasey Graff。 0.38
UCI machine learning reposi- UCI機械学習リポジトリ 0.69
tory, 2017. トーリー、2017年。 0.74
Cynthia Dwork, Moritz Hardt, Toniann Pitassi, Omer Reingold, and Richard Zemel. シンシア・ドワーク、モリッツ・ハード、トニアン・ピタッシ、オマー・ラインゴールド、リチャード・ゼメル。 0.54
Fairness through awareness. 意識を通じて公平である。 0.45
In ITCS 2012 - Innovations in Theoretical Computer Science Conference, 2012. in itcs 2012 - innovations in theoretical computer science conference, 2012 (英語) 0.41
Ruediger Ehlers. ruediger ehlers所属。 0.56
Formal verification of piece-wise linear 区分線形の形式的検証 0.77
feed-forward neural networks. フィードフォワードニューラルネットワーク。 0.64
In ATVA. Springer, 2017. ATVA。 2017年、スプリンガー。 0.53
Ian J Goodfellow, Jonathon Shlens, and Christian Szegedy. Ian J Goodfellow、Jonathon Shlens、Christian Szegedy。 0.35
Explaining and harnessing adversarial examples. 敵の例を説明し、活用する。 0.46
arXiv preprint arXiv:1412.6572, 2014. arxiv プレプリント arxiv:1412.6572, 2014 0.41
Sven Gowal, Krishnamurthy Dvijotham, Robert Stanforth, Rudy Bunel, Chongli Qin, Jonathan Uesato, Relja Arandjelovi´c, Timothy Mann, and Pushmeet Kohli. Sven Gowal, Krishnamurthy Dvijotham, Robert Stanforth, Rudy Bunel, Chongli Qin, Jonathan Uesato, Relja Arandjelovi ́c, Timothy Mann, Pushmeet Kohli 0.40
On the effectiveness of interval bound propagation for training verifiably robust models, 2018. 2018年度のトレーニングモデルにおける区間境界伝搬の有効性について 0.62
Larry Hardesty. Study finds gender and skin-type bias in com- ラリー・ハーディ。 コンブの性別と肌型偏見に関する研究 0.62
mercial artificial-intelligence systems, Feb 2018. mercial artificial-intellige nce systems、2018年2月。 0.67
Moritz Hardt, Eric Price, and Nathan Srebro. モーリッツ・ハード、エリック・プライス、ネイサン・スレブロ。 0.39
Equality of opportunity in supervised learning. 平等 学習を監督する機会です 0.59
In NeurIPS, 2016. 2016年、NeurIPS。 0.68
Alex Hern. Twitter apologises for ’racist’ image-cropping al- アレックス・ハーン Twitter、「人種差別主義者」のイメージクロッピングを謝罪 0.53
gorithm, Sep 2020. ゴリスム、2020年。 0.72
Christina Ilvento. クリスティーナ・イルヴェント。 0.57
Metric Learning for Individual Fairness. 個人的公正のためのメトリクス学習。 0.60
arXiv e-prints, page arXiv:1906.00250, 6 2019. arXiv e-prints, page arXiv:1906.00250, 6 2019 0.38
Philips George John, Deepak Vijaykeerthy, and Diptikalyan Saha. Philips George John, Deepak Vijaykeerthy, Diptikalyan Saha 0.32
Verifying Individual Fairness in Machine Learning Models, 2020. 機械学習モデルにおける個人的公正性の検証 0.68
Guy Katz, Clark Barrett, David L Dill, Kyle Julian, and Mykel J Kochenderfer. ガイ・カッツ、クラーク・バレット、デヴィッド・l・ディル、カイル・ジュリアン、ミケル・j・コチェンダー。 0.38
Reluplex: An efficient smt solver In CAV. Reluplex: CAVにおける効率的なsmtソルバ。 0.72
Springer, for verifying deep neural networks. Springer、ディープニューラルネットワークを検証する。 0.73
2017. Hannah Kirk, Yennie Jun, Haider Iqbal, Elias Benussi, Filippo Volpin, Fr´ed´eric A. Dreyer, Aleksandar Shtedritski, and Yuki Markus Asano. 2017. Hannah Kirk, Yennie Jun, Haider Iqbal, Elias Benussi, Filippo Volpin, Fr ́ed ́eric A. Dreyer, Aleksandar Shtedritski,yuki Markus Asano
訳抜け防止モード: 2017. ハンナ・カーク イェニー・ジュン ハイダー・イクバル イライアス・ベヌスシ filippo volpin, fr ́ed ́eric a. dreyer, aleksandar shtedritski, andyuki markus asano。
How true is gpt-2? gpt-2の真相は? 0.78
an empirical analysis of intersectional occupational biases. 交点の職業バイアスの実証分析です 0.58
2021. Klas Leino, Zifan Wang, and Matt Fredrikson. 2021. Klas Leino、Zifan Wang、Matt Fredrikson。 0.54
Globallyrobust neural networks. グローバルロバストニューラルネットワーク。 0.75
arXiv preprint arXiv:2102.08452, 2021. arXiv preprint arXiv:2102.08452, 2021 0.40
Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, and Adrian Vladu. アレクサンデル・マドリー、アレクサンダル・メイドロフ、ルートヴィヒ・シュミット、ディミトリス・ツィプラ、エイドリアン・ヴラドゥ。 0.54
Towards deep learning models resistant to adversarial attacks. 敵対的攻撃に抵抗するディープラーニングモデルに向けて 0.67
arXiv preprint arXiv:1706.06083, 2017. arxiv プレプリント arxiv:1706.06083, 2017 0.42
Daniel McNamara, Cheng Soon Ong, and Robert C. CoRR, ダニエル・マクナマラ、チェン・オン、ロバート・c・コーラ。 0.62
Provably fair representations. おそらく公正な表現。 0.55
Williamson. abs/1710.04394, 2017. ウィリアムソン abs/1710.04394、2017年。 0.57
Michela Milano, Greger Ottosson, Philippe Refalo, and Erlendur S Thorsteinsson. ミケーラ・ミラノ、グレガー・オットソン、フィリップ・レファロ、エレンドゥル・s・ソースタインソン。 0.46
The benefits of global constraints for the integration of constraint programming and integer programming. 制約プログラミングと整数プログラミングの統合におけるグローバル制約の利点。 0.69
In Working Notes AAAI-2000 Workshop Integration of AI and OR Techniques for Combinatorial Optimization, 2000. In Working Notes AAAI-2000 Workshop Integration of AI and OR Techniques for Combinatorial Optimization, 2000 0.43
Debarghya Mukherjee, Mikhail Yurochkin, Moulinath Banerjee, and Yuekai Sun. Debarghya Mukherjee, Mikhail Yurochkin, Moulinath Banerjee, Yuekai Sun 0.32
Two Simple Ways to Learn Individual Fairness Metrics from Data, 2020. データから個人フェアネスメトリクスを学ぶための2つの簡単な方法、2020年。 0.65
Dino Pedreshi, Salvatore Ruggieri, and Franco Turini. Dino Pedreshi、Salvatore Ruggieri、Franco Turini。 0.66
In 14th SIGKDD, 14th SIGKDD 0.27
Discrimination-aware data mining. 差別対応データマイニング。 0.67
2008. Anian Ruoss, Mislav Balunovi´c, Marc Fischer, and Martin Vechev. 2008. Anian Ruoss、Mislav Balunovi ́c、Marc Fischer、Martin Vechev。 0.41
Learning Certified Individually Fair Representations, 2020. 個人的公正表現の学習 - 2020年。 0.61
Vincent Tjeng, Kai Xiao, and Russ Tedrake. ヴィンセント・チャン、カイ・シャオ、ラス・テレーク。 0.39
Evaluating robustness of neural networks with mixed integer programming. 混合整数プログラミングによるニューラルネットワークの堅牢性評価 0.77
In ICLR, 2019. 2019年、ICLR。 0.66
Caterina Urban, Maria Christakis, Valentin W¨ustholz, and Fuyuan Zhang. カタリーナ・アーバン、マリア・クリスティーキス、ヴァレンティン・W・ジュソルズ、フーヤン・チャン。 0.34
Perfectly parallel fairness certification of neural networks. ニューラルネットワークの完全な並列フェアネス認証。 0.70
Proceedings of the ACM on Programming Languages, 4(OOPSLA), 2020. acm on programming languages, 4(oopsla), 2020 の略。 0.52
ISSN 24751421. ISSN 24751421。 0.82
Matthew Wicker, Luca Laurenti, Andrea Patane, and Marta Kwiatkowska. マシュー・ウィッカー、ルカ・ローレンティ、アンドレア・パタン、マルタ・クウィチコウスカ。 0.48
Probabilistic safety for bayesian neural networks. ベイズニューラルネットワークの確率論的安全性 0.72
In Conference on Uncertainty in Artificial Intelligence, pages 1198–1207. 人工知能の不確実性に関する会議』1198-1207頁。 0.59
PMLR, 2020. PMLR、2020年。 0.88
Matthew Wicker, Luca Laurenti, Andrea Patane, Zhuotong Chen, Zheng Zhang, and Marta Kwiatkowska. Matthew Wicker, Luca Laurenti, Andrea Patane, Zhuotong Chen, Zheng Zhang, Marta Kwiatkowska。 0.38
Bayesian In AISinference with certifiable adversarial robustness. ベイズ的AIS推論における正逆性 0.39
TATS, pages 2431–2439. TATS、2431-2439頁。 0.62
PMLR, 2021. PMLR、2021年。 0.80
Samuel Yeom and Matt Fredrikson. サミュエル・ヨームとマット・フレデリックソン 0.63
Individual Fairness Revisited: Transferring Techniques from Adversarial Robustness, 2020. 個人フェアネス再考: 敵ロバストネスからの移転技術(2020年) 0.54
Mikhail Yurochkin, Amanda Bower, and Yuekai Sun. ミハイル・ユロヒキン、アマンダ・ボウワー、ユエカイ・サン。 0.39
Training individually fair ML models with Sensitive Subspace Robustness, 2020. Sensitive Subspace Robustnessで個別に公正なMLモデルをトレーニングする。 0.63
Individual Fairness Guarantees for Neural 神経に対する個人的公平性保証 0.51
Appendix to: Appendix to: 0.43
Networks In Section A we empirically investigate the convergence of the PWL bounds w.r.t. M in the sigmoid case, and provide detailed proofs for the statements of propositions and theorem from the main paper. ネットワーク 第1節では、シグモイドのケースにおける PWL 境界 w.r.t.M の収束を実証的に調べ、本論文から命題と定理のステートメントの詳細な証明を提供する。 0.77
In Section B we discuss how the learning of the similarity metric dfair was performed. 第b節では,類似度指標dfairの学習について述べる。
訳抜け防止モード: 第B節でどのように議論するか 類似度dfairの学習が行われました
Section C details the experimental settings used in the paper and briefly describes fairness-through-una wareness and SenSR. セクションcは、論文で使われた実験的な設定を詳述し、フェアネス・スルー・アンウェアネスとセンサーを簡潔に説明している。 0.46
Finally, additional experimental results on group fairness, verification, and feature embedding metrics are given in Section D. 最後に、グループフェアネス、検証、特徴埋め込みのメトリクスに関するさらなる実験結果がセクションDで与えられる。 0.68
A Additional Details on MILP A.1 MILP A.1の詳細 0.74
Analysis of Number of Grid Points Interestingly, by inspecting the error bounds derived in Proposition 2 we notice how the uniform error of the PWL bounds goes to zero with the product between the inverse of M and the increments of the derivative of σ parametrised with the inverse of M. In practice, this means that choosing the interval points of the grid adaptively depending on the values of σ(cid:48) yields improved rate of convergence for the bounds. 興味深いことに、格子点数の解析は、命題 2 で導かれる誤差境界を検査することによって、PWL 境界の均一誤差が M の逆数と M の逆数にパラメトリされた σ の微分の増分の間の積とゼロとなることに気付く。
訳抜け防止モード: 興味深いグリッド点数の解析 : 命題 2 から導出される誤差境界を検査することにより、pwl 境界の一様誤差が m の逆元間の積とどのように 0 になるかに気付く。 σ の微分の増分は m の逆数に準じている。 これは、σ(cid:48) の値に適応して格子の間隔点を選択することを意味する。 収率は境界の収束率を向上した。
In fact, in Appendix A, by choosing the grid points in inverse proportion to M in practice, for M = 32, we have almost perfect overlap of the PWL with σ. 実際、アペンディックス A において、実際には M = 32 に対して、格子点を M に逆比例して選ぶことで、PWL とσ のほぼ完全に重複する。 0.67
We visualised this in Figure 1 in the main paper, where we plot the lower and upper PWL functions used in our MILP construction (the plots illustrate the explicit case of the sigmoid activation function in the interval [−5, 5]). 図1でこれを視覚化し、milp構築に使用される下層と上層pwl関数をプロットした(プロットは間隔 [−5, 5] におけるsgmoid activation functionの明示的な例を示している)。
訳抜け防止モード: 図1では、本文でこれを可視化しています。 私たちはMILP構築に使用される上下PWL関数をプロットします (プロットは区間 [ − 5, 5 ]) におけるシグモイド活性化関数の明示的なケースを示す。
The inflection point in the case of the sigmoid is in the axis origin, so it is straightforward to discretise the x-axis into convex and concave parts of the sigmoid. s状骨の場合の反射点は軸起源であるため、x軸をs状骨の凸部と凹部とに区別することは容易である。 0.58
In particular, we achieve this by using a non-uniform discretisation of the x-axis that follows the y-axis of the plot. 特に、プロットのy軸に従うx軸の非一様離散化を用いてこれを達成する。 0.66
Empirically, we found that this provides better bounds than a uniform x-axis discretisation in the case in which M (number of grid points used) is small. 経験的に、これは M (使用される格子点の数) が小さい場合の均一な x 軸の離散化よりも良い境界を与える。 0.72
The figures visually show how the bounds converge as M increases. 図は m が増加するにつれて境界がどのように収束するかを視覚的に示す。 0.48
Already for M = 32 the maximum approximation error is of the order of 10−5, and thus this is the value we utilise in the experiments. M = 32 の場合、最大近似誤差は 10−5 の次数であり、この値が実験で用いる値である。 0.71
Proof of Proposition 1 Consider the j-th activation function and the i-th layer we want to show that everytime ζ (i) j = j,l and y(i) j,l for l = 1, . . . , M, such that ζ (i) satisfies the constraints in the proposition statement. 命題 1 の証明は、j 番目の活性化関数と i 番目の層を考えると、(i) j = j,l と y(i) j,l for l = 1, . . . . . , m に対して、すべての時 (i) j = j,l と y(i) j,l が命題ステートメントの制約を満たすことを示す。 0.62
This would imply that the feasible region defined by the latter equation is larger than that defined by ζ (i) , and that it hence provide a safe over-approximation of it. これは、後者の方程式で定義される実現可能な領域は、(i) によって定義される領域よりも大きく、したがって安全な過近似を与えることを意味する。 0.70
j = σ(i)(cid:16) j = σ(i)(cid:16) 0.49
it follows that there exist values for η(i) η(i) の値が存在することが従う。 0.77
σ(i)(cid:16) σ(i)(cid:16) 0.47
j φ(i) φ(i) j j φ(i) φ(i)j である。 0.56
φ(i) j φ(i)j である。 0.70
(cid:17) (cid:17) (cid:17) (cid:17) 0.39
ζ (i) j = σ(i)(φ(i) j = σ(i)(φ(i) ζ (i) σ (i) j = σ(i)(φ(i) j = σ(i)(φ(i) ) (i) である。 0.83
By using Lemma 3.1, we know that j,l ζPWL,(i),L + η(i) j,l ζPWL,(i),U + η(i) j,l+1 = (1 − η(i) Lemma 3.1を使用することで、j,l >PWL,(i),L + η(i) j,l >PWL,(i),U + η(i) j,l+1 = (1 − η(i) であることが分かる。 0.94
j ) ≥ η(i) j ) ≤ η(i) where we notice that η(i) j,l ). j ) ≥ η(i) j ) ≤ η(i) ここで η(i) j,l であることに気づく。 0.82
By employing the Special Ordered Set (SOS) 2 reformulation of piecewise 特殊順序集合(sos)を用いることにより、区分の再構成を行う 0.52
j,l+1ζPWL,(i),L j,l+1ζPWL,(i),U j,l+1-PWL,(i),L j,l+1-PWL,(i),U 0.47
j,l−1 j,l−1 j,l−1 j,l−1 0.39
j,l , , j,l j.l. , , j.l. 0.40
j functions [Milano et al , 2000], we then obtain: j 関数 [Milano et al , 2000] を得る。 0.50
M(cid:88) M(cid:88) M(第88回) M(第88回) 0.62
l=1 M(cid:88) M(cid:88) l=1 M(cid:88)M(cid:88) 0.35
l=1 y(i) j,l = 1, l=1 y(i) j,l = 1 0.33
η(i) j,l = 1, η(i) j,l = 1 0.37
M(cid:88) φ(i) j = M(第88回) φ(i) j = 0.52
l=1 φ(i)L j,l η(i) l=1 φ(i)L j,l η(i) 0.36
j,l , y(i) j,l ≤ η(i) j,l,y(i) j,l ≤ η(i) 0.40
j,l + η(i) j,l + η(i) 0.42
j,l+1, j,l+1 である。 0.61
l=1 ζPWL,(i),L l=1 シュPWL(i)L 0.43
j,l j,l ≤ ζ (i) η(i) j.l. j,l ≤ (i) η(i) である。 0.64
j ζPWL,(i),U j シュPWL(i,U) 0.57
j,l j,l ≥ ζ (i) η(i) j.l. j,l ≥ (i) η(i) 0.38
j l=1 which is equivalent to the Proposition statement. j l=1 これはProposition文に相当します。 0.43
Proof of Proposition 2 For simplicity of notation, we drop the subscripts and superscripts from the proof, and refer to a general activation of a general hidden layer of the NN f w. 命題2の証明 表記の単純さのため、証明からサブスクリプトとスーパースクリプトを取り除き、NN f w の一般的な隠蔽層の一般的な活性化を参照する。 0.60
Without loss of generality, assume the non-linearity σ(φ) is convex in [φl, φl+1], with φl+1 − φl = φU−φL M (the concave case follows specularly from the convex by opportunely considering −σ(φ)). 一般性を損なうことなく、非線型性 σ(φ) が [ φl, φl+1] において凸であると仮定し、 φl+1 − φl = φu− φl m と仮定する。 0.76
Following the construction discussed in Section 3.1, the lower bound in this case is given by the tangent through the midpoint, i.e., σL(φ) = σ(c) + (φ − c)σ(cid:48)(c), where c = (φl+1 − φl)/2, where c = (φl+1 − φl+1)/2. 第3.1節で議論された構成に従うと、この場合の下限は、中間点を通る接線によって与えられる: σl(φ) = σ(c) + (φ − c)σ(cid:48)(c) ここで c = ( φl+1 − φl)/2 である。 0.82
We consider the lower bounding error e1(φ) = |σL(φ) − σ(φ)|. 下限誤差 e1(φ) = |σl(φ) − σ(φ)| を考える。 0.77
By definition of convexity and differentiability of σ we have: σ(c) ≥ σ(φl) + (c − φl)σ(cid:48)(φl). σ の凸性と微分可能性の定義により、σ(c) ≥ σ(φl) + (c − φl)σ(cid:48)(φl) となる。 0.80
Hence, for the error we obtain the following chain of inequalities: したがって、誤差に対して以下の不等式の連鎖を得る。 0.76
e1(φ) = σ(φ) − σL(φ) = σ(φ) − σ(c) − (φ − c)σ(cid:48)(c) ≤ − (c − φ)σ(cid:48)(φ) − (φ − c)σ(cid:48)(c) = (φ − c)(σ(cid:48)(φ) − σ(cid:48)(c)). e1(φ) = σ(φ) − σL(φ) = σ(φ) − σ(c) − (φ − c)σ(cid:48)(c) ≤ − (c − φ)σ(cid:48)(φ) − (φ − c)σ(cid:48)(c) = (φ − c)(cid:48)(φ) − σ(cid:48)(c))。 0.47
which can be reformulated in terms of M: mという観点で再構成できます 0.48
e1(φ) ≤ φU − φL e1(φ) ≤ φU − φL 0.44
2M (cid:18) 2M (cid:18) 0.39
σ(cid:48)(φl+1) − σ(cid:48)(cid:18) σ(cid:48)(φl+1) − σ(cid:48)(cid:18) 0.38
φl+1 − φU − φL φl+1 − φU − φL 0.32
2M (cid:19)(cid:19) 2M (cid:19)(cid:19) 0.38
(5) For the upper-bound function, we have: σU (φ) = σ(φl) + (5) 上界函数に対して、σu(φ) = σ(φl) + となる。 0.59
(φ − φl) σ(φl+1)−σ(φl) ( φ − φl) σ(φl+1)−σ(φl) 0.41
. Again by convexity we obtain: . 再び凸性によって得られる。 0.47
φl+1−φl σ(φ) ≥ σ(φl) − σ(cid:48)(φl)(φ − σ(φl)). φl+1-φl σ(φ) ≥ σ(φl) − σ(cid:48)(φl)(φ − σ(φl))。 0.82
so that for the error we have the following chain of inequalities: エラーには以下の不平等の連鎖があります 0.56
e2(φ) = σU (φ) − σ(φ) = σ(φl) + (φ − φl) σ(φl+1) − σ(φl) e2(φ) = σU(φ) − σ(φ) = σ(φl) + (φ − φl) σ(φl+1) − σ(φl) 0.48
σ(φl+1) − σ(φl) σ(φl+1) − σ(φl) 0.42
φl+1 − φl + σ(cid:48)(φl))(φ − φl). φl+1 − φl + σ(cid:48)(φl))( φ − φl) である。 0.75
( φl+1 − φl ( φl+1 − φl 0.36
− σ(φ) ≤ − σ(φ) ≤ 0.43
Adult Credit German 大人 クレジット ドイツ語 0.71
Crime Model Learning Rate Regularization Epochs FTU SenSR MILP FTU SenSR MILP FTU SenSR MILP FTU SenSR MILP 犯罪 モデル学習率正規化 Epochs FTU SenSR MILP FTU SenSR MILPs FTU SenSR MILPs FTU SenSR MILP 0.58
0.025 0.001 0.001 0.002 0.0025 0.0025 0.001 0.0025 0.0025 0.001 0.025 0.025 0.025 0.001 0.001 0.002 0.0025 0.0025 0.001 0.0025 0.0025 0.001 0.025 0.025 0.21
0.0125 0.05 0.05 0.02 0.04 0.04 0.02 0.04 0.04 0.02 0.025 0.025 0.0125 0.05 0.05 0.02 0.04 0.04 0.02 0.04 0.04 0.02 0.025 0.025 0.21
35 400 400 50 100 100 35 250 250 35 100 100 35 400 400 50 100 100 35 250 250 35 100 100 0.42
Hidden Layers [8], [16], [24], [64], [8,8], [16,16] 隠れた層 [8], [16], [24], [64], [8,8], [16,16] 0.56
[8], [16], [24], [64], [8,8], [16,16] [8], [16], [24], [64], [8,8], [16,16] 0.41
[8], [16], [24], [64], [8,8], [16,16] [8], [16], [24], [64], [8,8], [16,16] 0.41
[8], [12], [16], [24], [8,8], [16,16] [8], [12], [16], [24], [8,8], [16,16] 0.41
Table 1: Hyperparameter values used for the models employed in the analysis in Section 4 and in the comparison between training methods in Section 4 表1:第4節の分析及び第4節の訓練方法の比較に使用されるハイパーパラメータ値
訳抜け防止モード: 表1 : 第4節の分析で使用されるモデルに使用されるハイパーパラメータ値 第4節の訓練方法の比較
e2(φ) ≤ (cid:32) e2(φ) ≤ (cid:32) 0.44
M (cid:33) M (cid:33) 0.41
Hence, by rewriting it in terms of M, we obtain: したがって、これをMで書き直すことで、次のようになる。 0.64
M ) − σ(φl) σ(φl + φU−φL φU−φL M ) − σ(φl) σ(φl + φU−φL φU−φL 0.34
+ σ(cid:48)(φl) + σ(cid:48)(φl) 0.44
φU − φL φu − φl である。 0.43
M . (6) Uniform convergence as M tends to infinity follows straightforwardly from the fact that Equations (5) and (6) are independent of any particular value of φ and that they tend to zero as M goes to infinity. M . (6) M の無限大への一様収束は、方程式 (5) と (6) が任意の φ の値とは独立であり、M が無限大へ進むにつれて 0 になる傾向があるという事実から、直接的に従う。 0.48
Proof of Theorem 1 The theorem statement follows if we show that the feasible region of the MILP of Equation (4) over-approximates the feasible region of the individual fairness optimisation problem whose constraints are given in Equations (2) and (3). 定理 1 の証明 定理文は、式 (4) の MILP の実現可能な領域が、式 (2) と (3) に制約が与えられる個々のフェアネス最適化問題の実現可能な領域を過度に近似することを示すものである。 0.74
In fact, if this holds then any solution δ∗ of the optimisation problem of Equation (4) would provide an upper bound to the solution of Problem 1, so that for any δ ≥ δ∗ we would have that f w is -δ-IF. 実際、もしこれが成立すれば、方程式 (4) の最適化問題の任意の解 δ∗ は問題 1 の解の上界を与えるので、任意の δ ≥ δ∗ に対して f w が σ-δ-if となる。 0.81
≤ U T x(cid:48) − U T x(cid:48)(cid:48) ≤ ≤ U T x(cid:48) − U T x(cid:48)(cid:48) ≤ 0.45
Fairness Constraint: For the model constraint, this follows directly from the construction of Section 3.1, so that we √ have that − implies dfair(x(cid:48), x(cid:48)(cid:48)) ≤ . フェアネス制約(Fairness Constraint): モデル制約について、これはセクション3.1 の構成から直接従うので、- が dfair(x(cid:48), x(cid:48)(cid:48)) ≤ . . 0.76
Model Constraint: We first rewrite the NN explicitly by using the notation of Equation (1) in x(cid:48) and x(cid:48)(cid:48), so that we have δ = ζ(cid:48)(L) − ζ(cid:48)(cid:48)(L), and for i = 1, . . . , L: ζ(cid:48)(0) = x(cid:48), φ(cid:48)(i) = W (i)ζ(cid:48)(i−1) + b(cid:48)(i), モデル制約:まず、式(1) を x(cid:48) と x(cid:48)(cid:48) で表記することで nn を明示的に書き直し、δ = s(cid:48)(l) − s(cid:48)(cid:48)(l) と i = 1 . . . . . . . . . . . . . . . . . (cid:48)(0) = x(cid:48), φ(cid:48)(i) = w(i)s(cid:48)(i−1) + b(cid:48)(i) とする。 0.80
ζ(cid:48)(i) = σ(i)(cid:16) ζ(cid:48)(cid:48)(0) = x(cid:48)(cid:48), φ(cid:48)(cid:48)(i) = W (i)ζ(cid:48)(cid:48)(i−1) + b(cid:48)(cid:48)(i) , ζ(cid:48)(cid:48)(i) = σ(i)(cid:16) σ(i)(cid:16) σ(cid:48)(i) = σ(cid:48)(cid:48)(0) = x(cid:48)(cid:48), φ(cid:48)(cid:48)(i) = w(i)(cid:48)(cid:48) (i−1) + b(cid:48)(cid:48)(i) , σ(i)(cid:48)(cid:48)( i) = σ(i)(cid:16) σ(i)(cid:16) 0.45
The first two constraints in each of the two rows above are already linear constraints, and in this form appear in the †(i) MILP formulation. 上記の2つの行のそれぞれの最初の2つの制約は、既に線型な制約であり、この形式は s(i) MILP の定式化に現れる。 0.71
For the activation constraints, i.e. ζ j = for † ∈ {(cid:48),(cid:48)(ci d:48) } and j = 1, . . . , ni, we proceed by computing PWL lower and upper bound functions using アクティベーション制約(英語版)について、すなわち、i = j = for sh ∈ {(cid:48),(cid:48)(ci d:48) } and j = 1, . . , ni, we proceed by computing PWL lower and upper bound function using。 0.83
√ †(i) j √ j (複数形 js) 0.59
(cid:17) diag(Λ) (cid:17) diag (複数形 diags) 0.54
diag(Λ) diag (複数形 diags) 0.68
φ φ(cid:48)(i)(cid:17) φ(cid:48)(cid:48)(i)( cid:17) φ φ(cid:48)(i)(cid:17) φ(cid:48)(cid:48)(i)( cid:17) 0.42
Lemma 3.1 and converting it into MILP form using Proposition 1. Lemma 3.1 と MILP を Proposition 1 で変換する。 0.78
This yields the final form of the MILP we obtain. これにより得られるMILPの最終形が得られます。 0.63
B Metric Learning Recently, a line of work aimed at practical methods of learning more expressive fair distance metrics from data has been developed [Ilvento, 2019, Mukherjee et al , 2020, Yurochkin et al , 2020]. B Metric Learning 近年、データからより表現力のある公平距離メトリクスを学習する実践的な方法を目的とした一連の研究が開発されている(Ilvento, 2019, Mukherjee et al , 2020, Yurochkin et al , 2020]。 0.82
In this section we expand on the methodology used for metric learning in our experiments. 本稿では,実験における計量学習の方法論について述べる。 0.70
B.1 Mahalanobis For the learning of the similarity metric dfair in the form of a Mahalanobis distance, we rely on the techniques described in Yurochkin et al [2020] that form the basis of the SenSR approach (to which we compare in our experiments). B.1 マハラノビス 距離の形で類似度 dfair を学習するために、我々は、SenSR アプローチの基礎となる Yurochkin et al [2020] に記述されている技術(実験で比較する)に依存している。
訳抜け防止モード: B.1 mahalanobis for the learning of the similarity metric dfair in the form of a mahalanobis distance, yurochkin et al [2020]に説明されている技術に依存しています。 sensrアプローチ(実験で比較する)の基礎を形成する。
Briefly, this works as follows. 略して下記の通りである。 0.46
Consider for simplicity the case of one sensitive feature (e g , race) with K possible categorical values. 単純さを考える 一つの敏感な特徴(例えば人種)が k 個の圏値を持つ場合を考える。
訳抜け防止モード: 1つの敏感な特徴の場合の簡易性を考える (例:レース) K の可能なカテゴリ値。
We train a softmax model to predict each value of the sensitive feature by relying on the non-sensitive features. 我々は、softmaxモデルを訓練し、非敏感な特徴に依存して、センシティブな特徴のそれぞれの値を予測する。 0.61
Let xnon-sens denote the feature vector corresponding to only the non-sensitive features, and similarly xsens denoting the sensitive features. xnon-sens を、非敏感な特徴のみに対応する特徴ベクトル、および同様にセンシティブな特徴を表す xsens とする。 0.73
We then have: exp (aT k=1 exp (aT exp (aT k=1 exp (aT) 0.33
k xnon-sens + bk) k xnon (複数形 k xnons) 0.60
k xnon-sens + bk) k xnon (複数形 k xnons) 0.60
p(xsens = k) = p(xsens = k) = 0.42
(cid:80)K (7) where p(xsens = k) indicates the confidence given by the softmax model to the sensitive feature having the k-th value. (出典:80)K (7) p(xsens = k) は、ソフトマックスモデルから k 番目の値を持つ感度特徴に対する信頼度を示す。 0.75
Intuitively, the vector aT k , for k = 1, ..., K, then represents a sensitive direction in the non-sensitive features space that correlates xnon-sens to the k-th value of xsens. 直感的には、k = 1, ..., K のベクトル aT k は、xnon-sens を xsens の k 番目の値と相関する非感度特徴空間の感度方向を表す。 0.77
We then stack the weights of each model, defining the matrix A = [a1, . . . , aK], and compute its matrix span ran(A), which combines all the sensitive directions in defining a sensitive subspace. 次に各モデルの重みを積み重ねて行列 A = [a1, . . ., aK] を定義し、その行列スパンラン(A) を計算する。
訳抜け防止モード: 次に各モデルの重みを積み重ねて行列 A = を定義する。 [ a1, . . , aK ] を計算し、その行列は run(A ) センシティブな部分空間を定義するために あらゆる感度の高い方向を組み合わせます
We finally find its orthogonal projector S = I − Pran(A), which is then used to define the Mahalanobis distance metric as: 最終的に直交射影 s = i − pran(a) を見つけ、マハラノビス距離計量を次のように定義する。
訳抜け防止モード: ついに直交射影 S = I − Pran(A) が見つかる。 その後、マハラノビス距離メートル法を次のように定義するために使われる。
dfair(x(cid:48), x(cid:48)(cid:48)) =(cid:112)(x(cid:48) − x(cid:48)(cid:48))T S(x(cid:48) − x(cid:48)(cid:48)). dfair(x(cid:48), x(cid:48)(cid:48)) =(cid:112)(x(cid:48) − x(cid:48)(cid:48))T S(x(cid:48) − x(cid:48)(cid:48)) 0.43
, k = 1, ..., K , k = 1, ..., K 0.38
. . 0.42
Figure 5: Certified bounds on individual fairness (δ∗) for different architecture parameters (widths and depths) and maximum similarity () for the Credit (first and second column) and the German (third and fourth column) datasets. 図5: 個々のフェアネスの認定境界(δ∗) 異なるアーキテクチャパラメータ(幅と深さ)と、クレジット(第1列と第2列)とドイツ(第3列と第4列)データセットの最大類似度(\)。 0.82
Top Row: Mahalanobis similarity metric used for dfair. 最上位列: dfairで使用されるマハラノビス類似度指標。 0.63
Bottom Row: Weighted (cid:96)∞ similarity metric used for dfair. Bottom Row: dfair に使用される重み付き (cid:96)∞ 類似度計量。 0.73
In the case in which the sensitive feature has a continuous rather than a categorical value, the softmax model of Equation (7) can be replaced by a linear fitting model, and the remainder of the computation follows analogously. センシティブな特徴がカテゴリー値ではなく連続である場合、方程式のソフトマックスモデル(7)を線形フィッティングモデルに置き換えることができ、残りの計算も同様に従うことができる。 0.70
Finally, we remark that in the case in which many features are selected as sensitive, one can proceed similarly to what has been described just above, by learning a different model for each sensitive feature, and then stacking all the weights obtained together when defining the matrix A. 最後に,多くの特徴が感性として選択される場合,各感性特徴に対して異なるモデルを学んだ上で,行列Aを定義する際に得られた重みを積み重ねることで,上述したように進行することができることを述べる。 0.81
B.2 Weighted (cid:96)p For ease of comparison, we rely on the approach of John et al [2020], which in particular focuses on a weighted (cid:96)∞ metric, by setting up the weights to zero for the sensitive features and to a common  for all the remaining features (we remark that our method is not limited just to (cid:96)∞, but can be used for any general weighted (cid:96)p metric). B.2 重み付け (cid:96)p 比較を容易にするために、john et al [2020] のアプローチに依存しており、特に重み付けされた (cid:96)∞ の計量に焦点をあて、感度の高い特徴の重み付けを 0 に設定し、残りのすべての特徴の共通 s に設定する(この方法が (cid:96)∞ に限らず、任意の一般重み付けされた(cid:96)p の計量に使用できることを指摘します)。 0.51
In the experiments described in Section 4 of the main paper, we consider multiple values for  varying from 0.01 to 0.25. 主論文第4節で述べた実験では、0.01から0.25までの値の異なる複数の値を考える。 0.76
B.3 Feature Embedding In addition to the Mahalanobis and weighted (cid:96)p distance metric, we also allow for the metric dfair to be computed on an embedding. b.3 特徴埋め込み マハラノビスと重み付き距離計量(cid:96)pに加えて、計量dfairを埋め込み上で計算することも可能である。 0.60
Intuitively, this allows for more flexibility in modelling the intra-relationship between the sensitive and non-sensitive features in each data point and can be used to certify individual fairness in data representations such as those discussed by [Ruoss et al , 2020]. 直感的には、これによって各データポイントにおけるセンシティブな特徴と非センシティブな特徴の間の関係をモデル化する柔軟性が向上し、[Ruoss et al , 2020] で議論されたようなデータ表現における個々の公正性を証明できる。
訳抜け防止モード: 直感的には 柔軟性が増します センシティブと非センシティブの間の各データポイント間の-内関係のモデル化 使うことができます ruoss et al, 2020]で議論されるようなデータ表現における個々の公平性を検証する。
As a proof of concept, we do this by learning a one-layer neural network embedding of 10 neurons, and employ the weighted (cid:96)∞ metric. 概念の証明として、我々は10個のニューロンの1層ニューラルネットワークを学習し、重み付き(cid:96)∞メトリックを使用する。 0.77
Results for this analysis will be given in Section D.2. この分析の結果はd.2節で示される。 0.72
C Experimental Setting In this section we describe the datasets used in this paper and any preprocessing performed prior to training and certification. 本節では,本論文で使用するデータセットと,トレーニングや認証に先立って実施した事前処理について述べる。 0.70
We then report the hyperparameter values used to train the different models used in the experiments. 次に、実験で使用する異なるモデルのトレーニングに使用されるハイパーパラメータ値について報告する。
訳抜け防止モード: 使用するハイパーパラメータの値を報告します 実験で使われた異なるモデルを訓練します
All experiments were run on a NVIDIA 2080Ti GPU with a 20-core Intel Core Xeon 6230. すべての実験はnvidia 2080ti gpuと20コアのintel core xeon 6230で実施された。 0.81
Figure 6: Distribution of the true labels of the Crime dataset. 図6: 犯罪データセットの真のラベルの配布。 0.68
Note how the dataset is very imbalanced towards lower values. データセットが低い値に対して非常に不均衡であることに注意してください。 0.52
C.1 UCI Datasets We consider the following UCI datasets [Dua and Graff, 2017], popular in the fairness literature, with the first three C.1 UCIデータセット 私たちは、以下のUCIデータセット(DuaとGraff, 2017)を検討します。
訳抜け防止モード: C.1 UCIデータセット 私たちは以下のUCIデータセット(Dua、Graff、)を検討します。 フェアネス文学で人気があり 最初の3つは
being binary classification tasks and the last one being a regression task. バイナリ分類タスクであり、最後のタスクは回帰タスクです。 0.55
For all datasets we take an 80/20 train/test split, drop features with missing values, normalise continuous features and one-hot encode categorical features. すべてのデータセットに対して、80/20のトレイン/テストの分割、欠落した値のフィーチャーのドロップ、継続的機能の正規化、および1ホットエンコード機能を取ります。 0.46
Adult: the objective is to classify whether individuals earn more or less than $50K/year (binary classification). 成人: 個人が年間50万ドル以上を稼ぐかどうかを分類すること(バイナリ分類)が目的である。 0.71
Here we follow similar preprocessing steps as Yurochkin et al [2020]. ここではyurochkin et al [2020] と同様の前処理手順に従う。 0.77
After removing native-country and education, and preprocessing, this dataset contains 40 features, it has 45,222 points, 0.24/0.76 class imbalance, and we consider sex and race to be categorical sensitive attributes. ネイティブな国と教育と前処理を取り除いた後、このデータセットには40の機能が含まれており、45,222ポイント、0.24/0.76クラスの不均衡があり、性別と人種をカテゴリーに敏感な属性とみなしている。
訳抜け防止モード: 国と教育、および前処理を取り除いた後。 このデータセットには40の特徴があります 45,222点 0.24/0.76級不均衡 性別と人種はカテゴリーに敏感な属性だと考えています
Credit: the goal is to predict whether people will default on their payments (binary classification). クレジット: 目標は、支払い(バイナリ分類)がデフォルトになるかどうかを予測することだ。 0.74
After preprocessing, the dataset has 144 features, 30,000 data points, a 0.22/0.78 class imbalance, and x2 (corresponding to sex) is considered a sensitive attribute. プリプロセッシング後、データセットは144の特徴と30,000のデータポイント、0.22/0.78クラスの不均衡を持ち、x2(セックスに対応)は繊細な属性とみなされる。 0.59
German: the goal is to classify individuals as good/bad credit risks (binary classification). ドイツ語: 個人を良い/悪い信用リスク(バイナリ分類)に分類すること。 0.68
After preprocessing, the dataset has 58 features, 1000 data points, a 0.3/0.7 class imbalance and status sex is considered a categorical sensitive attribute. プリプロセッシング後、データセットには58の特徴、1000データポイント、0.3/0.7クラスの不均衡、ステータスセックスがカテゴリに敏感な属性とみなされる。 0.59
Crime: the goal is to predict the normalised total number of violent crimes per 100K population. 犯罪: 目標は、100万人当たりの暴力犯罪の総数を予測することである。 0.81
After preprocessing, the dataset has 97 features, 1993 data points, and racepctblack, racePctWhite, racePctAsian, racePctHisp are considered continuous sensitive attributes. 前処理後、データセットには97の機能、1993年のデータポイント、 racepctblack、 racePctWhite、 racePctAsian、 racePctHisp が連続的な属性とみなされる。 0.76
The true label distribution of this dataset is very imbalanced, as shown in Figure 6. このデータセットの真のラベル分布は、図6に示すように、非常に不均衡です。 0.77
C.2 Hyperparameters The hyperparameters used to train all of the FTU, SenSR and MILP models used in the experiments are reported in Table 1. C.2 ハイパーパラメータ FTU、SenSR、MILPのモデルをトレーニングするために使用されるハイパーパラメータは、表1で報告されている。
訳抜け防止モード: C.2 ハイパーパラメータ 使用されるハイパーパラメータ 実験で使用するFTU、SenSR、MILPのモデルを全て訓練する 表1に記載されている。
The hidden layer values were selected to match the type of models trained in related literature (e g Yurochkin et al [2020], Urban et al [2020], Ruoss et al [2020]). 隠された層値は、関連する文献で訓練されたモデルの種類に合わせて選択された(例えば、yurochkin et al [2020], urban et al [2020], ruoss et al [2020])。 0.82
The values of learning rate, regularisation and number of epochs were selected as the result of some hyperparameter tuning, to provide accuracy results matching those found in literature. ハイパーパラメータチューニングの結果, 学習率, 正規化数, エポック数などの値が選択され, 文献と一致した精度が得られた。 0.72
C.3 Training Methods Below we describe the alternative fair training methods that are employed for comparison with our proposed training method. C.3 以下の訓練方法は,提案する訓練方法と比較し,その代替的公平な訓練方法について述べる。 0.68
We note that for all methods, categorical variables are one-hot encoded, and, since MILP solvers can deal with both continuous and integer variables, no further processing is required. すべてのメソッドにおいて、分類変数は1ホットエンコードされており、MILPソルバは連続変数と整数変数の両方を扱えるので、それ以上の処理は不要である。 0.69
Fairness through unawarness (FTU) The general principle of fairness through unawareness training is that by removing the sensitive features (e g features containing information about gender or race) the classifier will no longer use such information to make decisions. 公正さと不当さ(FTU) 不注意トレーニングによる公正さの一般的な原則は、センシティブな特徴(例えば性別や人種に関する情報を含む特徴)を取り除くことで、分類器はもはやそのような情報を使って決定を下さないことである。
訳抜け防止モード: 不当さによる公正(FTU)-無知の訓練による公正の一般的な原則-- センシティブな特徴を取り除くこと(例えば、性別や人種に関する情報を含む特徴) 分類器は もはや そんな情報を使って 決定を下さない。
Despite removal of the sensitive features, it is often found that these have correlations with non-sensitive features, which can lead to classifiers that are still greatly influenced by the sensitive features [Pedreshi et al , 2008]. センシティブな特徴の除去にもかかわらず、これらの特徴は非センシティブな特徴と相関があることがよく見出され、センシティブな特徴(Pedreshi et al , 2008)の影響を強く受けている。 0.67
SenSR SenSR is a methodology proposed by Yurochkin et al [2020] that leverages PGD to generate individually unfair adversarial examples to augment the training procedure. SenSR SenSRはYurochkinらによって提唱された手法で、PGDを利用して個別に不公平な敵の例を生成し、訓練手順を増強する。
訳抜け防止モード: SenSR SenSRはYurochkinらが開発した手法だ。 PGDを利用して個別に不公平な敵の例を生成し、訓練手順を増強する。
It supports similarity metrics in the form of a Mahalanobis これはマハラノビスの形で類似度指標をサポートする 0.70
distance, akin to the one we describe in Subsection B.1. 距離は,B.1条で記述したものに類似する。 0.68
We adapt their code to work on both binary classification and regression tasks to compare with our MILP method. 私たちは、それらのコードをバイナリ分類と回帰タスクの両方に適応させ、MILP法と比較します。 0.58
Our MILP method bears many similarity to theirs, hence why we use it for comparison. 我々のMILP法はそれらの手法と多くの類似点があり、そのため比較にそれを使う。 0.61
However, while both our training methods rely on adversarial training to mitigate against unfairness, SenSR does not provide any verification methodology. しかし,いずれの訓練方法も不公平を緩和するために敵の訓練に依存しているが,SenSRは検証方法を提供していない。 0.67
Furthermore, our MILP training, while being meaningfully more computationally intensive, achieves better local optimisation thus proving upon verification to train models order of magnitude fairer than SenSR. さらに、我々のMILPトレーニングは、有意に計算集約的である一方で、より優れた局所最適化を実現し、SenSRよりも遥かに公平なモデルの訓練を行うための検証を行う。 0.57
D Additional Experimental Results In this section we give further empirical evidence supporting the effectiveness of our certification framework as well as our fairness training methodology. d 追加実験結果 本節では、認証フレームワークの有効性と公平なトレーニング方法論を裏付けるさらなる実証的エビデンスを提示する。 0.64
We start by giving extended results and discussion on certification for the German and Credit datasets, as well as demonstrate that our method can scale to larger networks than those reported in the main text. まず、ドイツと信用データセットの認証に関する広範な結果と議論を行い、本手法がメインテキストで報告されているものよりも大きなネットワークにスケールできることを実証する。 0.73
We then proceed to do the same for our fairness training algorithm and extend the discussion where appropriate. そして、フェアネストレーニングアルゴリズムについても同じことを行い、適切な場所で議論を拡張します。 0.58
D.1 Fairness Certification for Credit and German D.1 信用とドイツ語の公正認定 0.52
Datasets In Figure 5 we report similar analyses to that of Figure 2 (in main text), illustrating how the values of δ∗ change with respect to changes in  and number of neurons and hidden layers used for the neural network architecture (using the same parameters as in Section 4) for Credit and German datasets. データセット 図5では、クレジットとドイツのデータセットでニューラルネットワークアーキテクチャ(第4節と同じパラメータを使用して)に使われるニューロンと隠れたレイヤの数の変化に対して、δ∗の値がどのように変化するかを図示して、図2のそれと同じような分析を報告します。 0.70
The top row in the figure was computed considering a Mahalanobis individual similarity metric; the bottom row was computed for a weighted (cid:96)∞ metric. 図の最上列はマハラノビスの個々の類似度メトリックから計算され、下列は重み付き(cid:96)∞メートルで計算された。 0.71
Notice that we obtain similar trends as those discussed for Figure 2. 図2で述べたのと同じような傾向に注意してください。 0.64
D.2 Certification with Feature Embedding D.2 機能埋め込みによる認定 0.63
Similarity Metric In Figure 7a we depict the results for individual fairness certification by using the feature embedding approach for the definition of dfair. 類似度基準 図7aでは、dfairの定義に対する特徴埋め込みアプローチを用いて、個々のフェアネス認定の結果を記述します。 0.64
In particular, we use a neural network with 10 neurons as the embedding. 特に、埋め込みとして10個のニューロンを持つニューラルネットワークを使用する。 0.75
The results are given for a NN with 2 layers, 16 hidden units per layer, using FTU for each dataset. 結果は、データセット毎にFTUを使用して、2つのレイヤと16の隠れユニットを持つNNに対して与えられる。 0.62
The results show that we are able to obtain non-trivial bounds even when an embedding is used. その結果,埋め込みを用いた場合においても,非自明な境界が得られることがわかった。 0.46
D.3 Additional Hyperparameters Analysis Up to this point we have studied architectures matching those explored in related literature [Yurochkin et al , 2020, Ruoss et al , 2020, Urban et al , 2020]. D.3 追加のハイパーパラメータ解析 この点まで、関連する文献(yurochkin et al , 2020, ruoss et al , 2020, urban et al , 2020)で検討したアーキテクチャについて研究してきた。 0.56
We now show that our verification method can be applied to far larger architectures to obtain non-trivial results. より大規模なアーキテクチャに適用して,非自明な結果が得られることを示す。 0.58
In Figure 7b we train with FTU six different neural networks on the Crime dataset, each with 2 hidden layers with the same number of neurons and up to 2048 neurons per layer. 図7bでは、犯罪データセット上でftuと6つの異なるニューラルネットワークをトレーニングします。
訳抜け防止モード: 図7bでは、犯罪データセット上に6つの異なるニューラルネットワークをトレーニングしています。 それぞれ同じ数のニューロンを持つ 2つの隠れた層があり 最大で2048個の神経細胞が
For reference, the largest network trained by Yurochkin et al [2020] has a single hidden layer with 100 neurons, and comes with no formal guarantees. 参考までに、yurochkinらによって訓練された最大のネットワークは、100個のニューロンを持つ単一の隠れ層を持ち、正式な保証はない。 0.66
We then report the value of δ∗ certified by the solver for each model (referred to by its total number of neurons, e g , 16 stands for a NN with 2 hidden layers with 8 neurons 次に、各モデルに対する解法によって証明されたδ∗の値(ニューロンの総数、例えば、16は2つの隠れた層と8つのニューロンからなるnnを表す)を報告する。 0.71
(a) (b) Figure 7: 7a Individual fairness for the various datasets after applying a 10 hidden units linear embedding. (a) (b) 図7: 7a 10個の隠れユニットの線形埋め込みを適用した後、さまざまなデータセットに対する個別の公正性。 0.50
All networks are fully connected and have two layers with 16 neurons each. すべてのネットワークは完全に接続され、それぞれ16個のニューロンを持つ2つの層を持つ。 0.59
As expected, we observe that δ increases with . 予想通り、δ は s とともに増加することが観測される。 0.61
Furthermore, the Adult dataset is particularly sensitive to perturbations. さらに、成人データセットは特に摂動に敏感である。 0.73
7b Certification for increasing architecture size. アーキテクチャサイズの増加に対する7b認証。 0.66
We notice that our method provides non-vacuous bounds even for hundreds of neurons. 本手法は数百のニューロンに対しても非空き領域を提供する。 0.61
(a) (b) (c) (a) (b) (c) 0.43
(d) Figure 8: In each plot we analyse how the value of delta changes for different cutoff times given to the solver. (d) 図8: 各プロットにおいて、解法者に与えられるカットオフ時間が異なるデルタ値がどのように変化するかを分析する。 0.57
We analyse this over 5 different architectures.The details of the architectures and their corresponding colors are given in the plot (a), the top-most figure. 我々はこれを5つの異なるアーキテクチャで分析し、アーキテクチャの詳細とそれに対応する色は、最上位の図であるプロット(a)で示される。 0.69
We also report the time taken to build the MILP problem for each architecture, to show how scaling the model size affects each portion of the MILP solution (building and solving constraints). また、各アーキテクチャのmilp問題を構築するのに要する時間を報告し、モデルサイズのスケーリングがmilpソリューション(制約の構築と解決)の各部分にどのように影響するかを示します。 0.69
each). We notice the value of δ∗ seems to increase. それぞれ)。 δ∗ の値は増加するように見える。 0.72
This is most likely due to the fact that for larger networks the MILP problem becomes more difficult to solve, and the time cutoff could has bigger impact on the tightness of the approximation found. これは、より大きなネットワークではmilpの問題はより解決が難しくなり、時間カットオフが発見された近似の厳密性に大きな影響を与える可能性があるためである。 0.72
However we note that, even for larger models with thousands of neurons, our verification method yields non-trivial bounds after only 3 minutes of computations. しかし、何千ものニューロンを持つ大規模モデルであっても、3分間の計算で非自明な境界が得られることに留意する。 0.61
In Figure 8 we train 5 different fully connected architectures for each dataset and verify it for  = 0.2. 図8では、データセット毎に5つの異なる完全接続アーキテクチャをトレーニングし、それを 0.2 = 0.2 で検証します。
訳抜け防止モード: 図8では、データセットごとに5つの異なる完全接続アーキテクチャをトレーニングします。 を 0.2 で検証する。
The details of each architecture and their corresponding colors in the plots are given in the legend of Figure 8(a), the top most plot of Figure 8. 図 8(a) の伝説では、図 8(a) は図 8(a) の最上位のプロットである。
訳抜け防止モード: 図8(a)の伝説には、各建築の詳細とプロットの対応する色が記されている。 図8の一番上のプロット。
In particular these architectures vary width and depth. 特にこれらのアーキテクチャは幅と深さが異なる。 0.64
We repeat the verification five times and average the results to mitigate any oscillation due to the solver’s inherent randomness. 検証を5回繰り返し、その結果を平均して解答者の本質的ランダム性による振動を緩和する。 0.74
We then observe the effect of varying the cutoff time given to the solver on the value of δ∗. 次に、δ∗ の値に対する解法に与えられるカットオフ時間の変化の効果を観測する。 0.74
We notice that the value of δ∗ appears to converge for all datasets, with the sharpest improvements happening within the first 200s. δ∗の値は全てのデータセットに収束しており、最初の200秒で最も急激な改善がおこなわれる。 0.73
Therefore, despite the problem being exponential in the worst case scenario, in practice the over-approximation we implement seems to stabilise relatively quickly, at least empirically in these four datasets. したがって、最悪の場合、指数関数的な問題にもかかわらず、実際には、我々が実装した過剰近似は、少なくともこれらの4つのデータセットにおいて、比較的早く安定化しているように見える。
訳抜け防止モード: したがって、最悪の場合、指数関数的な問題にもかかわらず。 実際には オーバー - 私たちが実装した近似は 少なくともこの4つのデータセットで 比較的早く安定させます
[8] [12] [16] [8] [12] [16] 0.42
[24] [64] [8,8] [24] [64] [8,8] 0.41
Adult Credit German Crime 21s 17s 121m 大人のクレジット ドイツの犯罪 21s 17s 121m 0.62
6s 4s 12m 28s 7s 6s4s12m 28s7s 0.31
6s 3s 11m 6s 3s 14m 6s 3s 11m 6s 3s 16m 6s 3s 11m 6s 3s 14m 6s 3s 11m 6s 3s 16m 0.31
6s 3s 9m 6s 4s 20m 6s 3s 9m 6s 4s 20m 0.32
361m 22s 19s 169m 22s 21s 196m 23s 22s 302m 23s 20s 203m 22s 22s 353m 361m 22s 19s 169m 22s 21s 196m 23s 22s 302m 23s 203m 22s 353m 0.37
29s 7s 354m 28s 7s 29s7s 354m28s7s 0.31
428m 30s 8s 428m 30s 8s 0.34
628m 28s 7s 628m 28s 7s 0.34
447m 30s 9s 447m 30s 9s 0.34
710m 6s 4s 13m 6s 4s 15m 6s 5s 19m 6s 4s 14m 6s 5s 19m 710m 6s 4s 13m 6s 4s 15m 6s 5s 19m 6s 4s 14m 6s 19m 0.36
Figure 9: Boxplot showing the quartiles of the distribution of the values of δ∗ for the three models over each dataset training with 5 independent random seeds 図9: 5つの独立した無作為種子を用いた各データセットトレーニングにおける3つのモデルに対するδ∗の分布の四角形を示すボックスプロット 0.77
Adult Credit German Crime アダルトクレジット ドイツの犯罪 0.79
FTU SenSR MILP 0.024 0.0056 0.12 0.038 0.0022 0.026 0.046 0.00055 FTU SenSR MILP 0.024 0.0056 0.12 0.038 0.0022 0.026 0.046 0.00055 0.25
0.017 0.22 0.023 0.017 0.017 0.22 0.023 0.017 0.23
Table 2: Standard deviation values for δ∗ obtained training models with an 8-neurons one hidden layer architecture for the 5 independent random seeds 表2: δ∗ の標準偏差値が 8-neuron 1 個の無作為種子の隠れ層構造を持つ訓練モデルを得る 0.79
D.4 Training In Figure 10 we re-plot the scatter plots from Figure 4 (in the main text) for the binary classification tasks using the standard test accuracy on the x-axis (instead of the balanced accuracy). D.4 図10のトレーニングでは、x軸の標準テスト精度(バランスの取れた精度ではなく)を用いて、図4(メインテキスト)から二分分類タスクの散乱プロットを再プロットします。 0.54
Notice that, in terms of standard accuracy, FTU clearly 標準精度の観点からは、FTUは明らかに 0.67
Table 3: Training times for different architectures on the various datasets used for Algorithm 1 using  = 0.2 表3: s = 0.2 を用いてアルゴリズム 1 に使用する各種データセット上の異なるアーキテクチャのトレーニング時間 0.80
outperforms the other two methods. 他の2つの方法より優れています 0.53
Intuitively, FTU is only concerned with the maximisation of accuracy, while the other two methods (SenSR and our MILP approach) also optimise for fairness, which, like discussed in Section 4 of the main paper, seems to provide them some regularisation against class imbalance. 直感的には、FTUは精度の最大化にのみ関心を持ち、他の2つの方法(SenSRとMILPアプローチ)は、本論文の第4節で論じられたように、等級不均衡に対する正規化を提供する。 0.67
We also study the standard deviation in the values of δ∗ training models with different random seeds in Table 2, and make two observations. また,表2の無作為種子の異なるδ∗訓練モデルの値の標準偏差を調べ,二つの観測を行った。 0.85
Firstly, given those values the difference in values of delta observed for each method remains significant. まず、これらの値を考えると、各手法で観測されたデルタ値の差は大きいままである。 0.60
Secondly, while each of these methods is affected by randomness, our method obtains the smallest values of standard deviation, thus providing more consistent results. 第2に,各手法はランダム性の影響を受けているが,標準偏差の最小値が得られ,より一貫した結果が得られる。 0.78
However, as mentioned in the main paper, our MILP based training method has the main drawback of computational overhead. しかし、本論文で述べたように、我々のMILPベースのトレーニング手法は計算オーバーヘッドの主な欠点がある。 0.67
While in the next section we perform further experiments on the scalability of our training method, in Table 3 we report the training times for all the NNs we trained in our experiments, to show that the trade off for orders of magnitude better fairness is significantly longer training times. 次のセクションでは、トレーニングメソッドのスケーラビリティに関するさらなる実験を行いますが、テーブル3では、実験でトレーニングしたすべてのNNのトレーニング時間を報告します。
訳抜け防止モード: 次のセクションでは、トレーニングメソッドのスケーラビリティに関するさらなる実験を行います。 表3では、実験で訓練したすべてのNNのトレーニング時間を報告します。 桁違いの公平さのトレードオフは トレーニング時間が かなり長いことを示すためです
D.5 Training Scalability We train a model with the same architecture as the largest network trained by Yurochkin et al [2020], with a single hidden layer and 100 neurons, on the Adult dataset (using same values of learning rate, regularization and number of epochs as in Table 1). D.5 トレーニングスケーラビリティ 私たちは、アダルトデータセット(テーブル1と同じ学習率、正規化、エポック数を用いて)上に、単一の隠れ層と100のニューロンを持つ、Yurochkin氏らによってトレーニングされた最大のネットワークと同じアーキテクチャでモデルをトレーニングします。 0.47
Upon verification, our model is guaranteed to have δ∗ = 0.0007221, while the same model trained with the methodology from Yurochkin et al [2020] obtains δ∗ = 0.042. 検証すると、このモデルは δ∗ = 0.0007221 であることが保証され、yurochkin et al [2020] の方法論で訓練された同じモデルは δ∗ = 0.042 を得る。 0.69
This notable improvement in guaranteed fairness bound comes at the significant cost in training time, as 公平性が保証されたこの顕著な改善は、トレーニング時間の大幅なコストが伴う。 0.63
our model takes 9h to train. 私たちのモデルは訓練に9時間かかります。 0.56
We also notice that the guarantees that this network obtains are very similar to the ones obtained with smaller network. また、このネットワークが得る保証は、より小さなネットワークで得られる保証と非常によく似ていることに気付く。
訳抜け防止モード: 私たちはまた このネットワークが得る保証は より小さなネットワークで得られるものと非常に似ています
D.6 Group Fairness In this section, we inspect how our MILP individual fairness training impacts group fairness as measured by Equalized Odds Difference (EOD) (calculated using the Fairlearn library, and inspired by the definition given by Hardt et al [2016]). D.6 グループフェアネス この節では、我々のMILP個人フェアネストレーニングが、EOD(Equalized Odds difference)によって測定されたグループフェアネスにどのように影響するかを調査する(Fairlearnライブラリを用いて計算し、Hardtらによる定義に着想を得た)。 0.48
Group fairness definitions largely concern themselves with summary statistics of the model performance on the entire test dataset rather than for an individual, so our training method does not optimize w.r.t. group fairness necessarily, though one would expect more individually-fair models to also improve on group fairness. グループフェアネスの定義は、個人ではなく、テストデータセット全体のモデルパフォーマンスの要約統計に大きく関係しているため、我々のトレーニング手法は必ずしもグループフェアネスを最適化するわけではない。
訳抜け防止モード: グループフェアネスの定義は、個人ではなく、テストデータセット全体のモデルパフォーマンスの要約統計に大きく関係している。 だから我々の訓練方法は 必ずしもwrtグループフェアネスを最適化しない しかし、より個人的 ― フェアモデルもグループフェアネスを改善するだろう。
We report our results on group fairness in Table 4. 表4におけるグループフェアネスについて報告する。 0.63
Interestingly, we observe that our method performs comparably to SenSR and both improve on EOD when compared with FTU. 興味深いことに、本手法はSenSRと同等に動作し、FTUと比較してEODを改善する。 0.66
Figure 10: Accuracy / individual fairness trade-off for NNs trained with fairness-by-unawaren ess, SenSR, and MILP for  = 0.2. 図10: フェアネス・バイ・アウェアネス、SenSR、MILPで訓練されたNNの精度/個人のフェアネスのトレードオフ。 0.49
Each dot in the scatter plot represents a different architecture. 散乱プロットの各点が異なるアーキテクチャを表している。 0.70
Adult Credit German 大人 クレジット ドイツ語 0.71
Model Bal. Accuracy FTU 0.718 ± 0.035 SenSR 0.743 ± 0.012 0.761 ± 0.001 MILP FTU 0.648 ± 0.002 SenSR 0.687 ± 0.005 0.699 ± 0.006 MILP FTU 0.623 ± 0.069 SenSR 0.719 ± 0.013 MILP 0.719 ± 0.011 モデルバル。 精度 FTU 0.718 ± 0.035 SenSR 0.743 ± 0.012 0.761 ± 0.001 MILP FTU 0.648 ± 0.002 SenSR 0.687 ± 0.005 0.699 ± 0.006 MILP FTU 0.623 ± 0.069 SenSR 0.719 ± 0.013 MILP 0.719 ± 0.011 0.45
Accuracy 0.831 ± 0.007 0.694 ± 0.020 0.715 ± 0.002 0.817 ± 0.001 0.743 ± 0.007 0.779 ± 0.004 0.751 ± 0.032 0.705 ± 0.009 0.685 ± 0.010 正確さ 0.831 ± 0.007 0.694 ± 0.020 0.715 ± 0.002 0.817 ± 0.001 0.743 ± 0.007 0.779 ± 0.004 0.751 ± 0.032 0.705 ± 0.009 0.685 ± 0.010 0.48
δ∗ 0.848 ± 0.017 0.063 ± 0.009 0.006 ± 0.005 0.230 ± 0.016 0.024 ± 0.015 0.008 ± 0.003 0.090 ± 0.048 0.107 ± 0.024 0.002 ± 0.001 δ∗ 0.848 ± 0.017 0.063 ± 0.009 0.006 ± 0.005 0.230 ± 0.016 0.024 ± 0.015 0.008 ± 0.003 0.090 ± 0.048 0.107 ± 0.024 0.002 ± 0.001 0.32
EOD 0.663 ± 0.070 0.550 ± 0.087 0.600 ± 0.000 0.014 ± 0.003 0.021 ± 0.011 0.007 ± 0.004 0.384 ± 0.181 0.295 ± 0.006 0.304 ± 0.015 EOD 0.663 ± 0.070 0.550 ± 0.087 0.600 ± 0.000 0.014 ± 0.003 0.021 ± 0.011 0.007 ± 0.004 0.384 ± 0.181 0.295 ± 0.006 0.304 ± 0.015 0.34
Table 4: Comparison of different metrics for 3 different model types across 3 different datasets (all binary classification tasks). 表4: 3つの異なるデータセット(すべてのバイナリ分類タスク)にわたる3つの異なるモデルタイプに対する異なるメトリクスの比較。 0.77
The last column is the group fairness metric Equalized Odds Difference (EOD). 最後の列は、グループフェアネスメートル法であるEqualized Odds difference (EOD)である。 0.83

翻訳にはFugu-Machine Translatorを利用しています。