論文の概要: One Model Many Scores: Using Multiverse Analysis to Prevent Fairness
Hacking and Evaluate the Influence of Model Design Decisions
- arxiv url: http://arxiv.org/abs/2308.16681v2
- Date: Fri, 2 Feb 2024 22:59:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 05:17:04.683579
- Title: One Model Many Scores: Using Multiverse Analysis to Prevent Fairness
Hacking and Evaluate the Influence of Model Design Decisions
- Title(参考訳): 1つのモデル 多数のスコア:多元分析を用いてフェアネスハッキングを防止し、モデル設計決定の影響を評価する
- Authors: Jan Simson and Florian Pfisterer and Christoph Kern
- Abstract要約: 設計と評価の決定の公平さをよりよく理解するために,多変量解析をどのように利用できるかを示す。
結果から,システム評価に関する決定が,同じモデルに対して,極めて異なる公平度指標を導出する可能性を強調した。
- 参考スコア(独自算出の注目度): 4.903263899016405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A vast number of systems across the world use algorithmic decision making
(ADM) to (partially) automate decisions that have previously been made by
humans. The downstream effects of ADM systems critically depend on the
decisions made during a systems' design, implementation, and evaluation, as
biases in data can be mitigated or reinforced along the modeling pipeline. Many
of these decisions are made implicitly, without knowing exactly how they will
influence the final system. To study this issue, we draw on insights from the
field of psychology and introduce the method of multiverse analysis for
algorithmic fairness. In our proposed method, we turn implicit decisions during
design and evaluation into explicit ones and demonstrate their fairness
implications. By combining decisions, we create a grid of all possible
"universes" of decision combinations. For each of these universes, we compute
metrics of fairness and performance. Using the resulting dataset, one can
investigate the variability and robustness of fairness scores and see how and
which decisions impact fairness. We demonstrate how multiverse analyses can be
used to better understand fairness implications of design and evaluation
decisions using an exemplary case study of predicting public health care
coverage for vulnerable populations. Our results highlight how decisions
regarding the evaluation of a system can lead to vastly different fairness
metrics for the same model. This is problematic, as a nefarious actor could
optimise or "hack" a fairness metric to portray a discriminating model as fair
merely by changing how it is evaluated. We illustrate how a multiverse analysis
can help to address this issue.
- Abstract(参考訳): 世界中の多くのシステムがアルゴリズムによる意思決定(ADM)を使用して、これまで人間が行ってきた決定を(部分的に)自動化しています。
ADMシステムの下流効果は、データ内のバイアスがモデリングパイプラインに沿って緩和または強化されるため、システムの設計、実装、評価の間の決定に大きく依存する。
これらの決定の多くは、最終的なシステムにどのように影響するかを正確に知ることなく、暗黙的に行われます。
この問題を研究するために,心理学の分野から洞察を導き,アルゴリズム的公正性に対する多元的分析手法を導入する。
提案手法では,設計および評価中の暗黙的な決定を明示的な決定とし,その公平さを実証する。
決定を組み合わせることで、可能なすべての"一元的"な決定の組み合わせのグリッドを作ります。
これらの宇宙のそれぞれについて、フェアネスとパフォーマンスのメトリクスを計算します。
結果のデータセットを使用して、公正度スコアの変動性と堅牢性を調べ、公平性にどのように、どの決定が影響するかを確認することができる。
本研究は, 弱者に対する公衆医療保険のカバー範囲を推定する模範事例を用いて, 設計・評価決定の公平さをよりよく理解するために, マルチバース分析をいかに活用できるかを実証するものである。
結果から,システム評価に関する決定が,同じモデルに対して,極めて異なる公平度指標をもたらす可能性を強調した。
これは、悪質な俳優がフェアネスメトリックを最適化したり、あるいは「ハック」したりして、その評価方法を変更するだけで差別モデルをフェアとして表現できるため、問題である。
マルチバース解析がこの問題にどう対処できるかを説明する。
関連論文リスト
- Better Understanding Differences in Attribution Methods via Systematic
Evaluations [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳(メタデータ) (2023-03-21T14:24:58Z) - Ground(less) Truth: A Causal Framework for Proxy Labels in
Human-Algorithm Decision-Making [29.071173441651734]
人間のAI意思決定タスクにおけるプロキシラベルの有効性に影響を与える5つの変数バイアス源を同定する。
各バイアス間の関係を乱すための因果的枠組みを開発する。
今後の研究において、ターゲット変数バイアスに対処する機会について論じる。
論文 参考訳(メタデータ) (2023-02-13T16:29:11Z) - Robust Design and Evaluation of Predictive Algorithms under Unobserved
Confounding [3.1133049660590615]
本稿では,選択的に観測されたデータにおける予測アルゴリズムの頑健な設計と評価のための統一手法を提案する。
提案手法は, 選択されていない単位と選択された単位の平均値によって, 結果がどの程度異なるか, という一般的な仮定を与える。
観測不能な共起に関する様々な仮定が、デフォルトリスク予測や、センシティブなグループ間での信用スコアの評価に有意義な変化をもたらすことを示す。
論文 参考訳(メタデータ) (2022-12-19T20:41:44Z) - Causal Fairness Analysis [68.12191782657437]
意思決定設定における公平性の問題を理解し、モデル化し、潜在的に解決するためのフレームワークを導入します。
我々のアプローチの主な洞察は、観測データに存在する格差の定量化と、基礎となる、しばしば観測されていない、因果的なメカニズムの収集を結びつけることである。
本研究は,文献中の異なる基準間の関係を整理し,説明するための最初の体系的試みであるフェアネスマップにおいて,本研究の成果を左右するものである。
論文 参考訳(メタデータ) (2022-07-23T01:06:34Z) - Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文 参考訳(メタデータ) (2022-05-20T20:50:17Z) - Inverse Online Learning: Understanding Non-Stationary and Reactionary
Policies [79.60322329952453]
エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。
一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。
本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。
UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
論文 参考訳(メタデータ) (2022-03-14T17:40:42Z) - VisRuler: Visual Analytics for Extracting Decision Rules from Bagged and
Boosted Decision Trees [5.653716495767272]
バッグングとブースティングは、機械学習(ML)において、多くの個別決定木を生成する2つの一般的なアンサンブル手法である。
本稿では,このようなMLモデルから決定を抽出するユーザを支援する視覚分析ツールを提案する。
論文 参考訳(メタデータ) (2021-12-01T08:01:02Z) - On the Fairness of Machine-Assisted Human Decisions [3.4069627091757178]
偏りのある人間の意思決定者を含めることで、アルゴリズムの構造と結果の判断の質との間の共通関係を逆転させることができることを示す。
実験室実験では,性別別情報による予測が,意思決定における平均的な性別格差を減少させることを示す。
論文 参考訳(メタデータ) (2021-10-28T17:24:45Z) - Estimating and Improving Fairness with Adversarial Learning [65.99330614802388]
本研究では,深層学習に基づく医療画像解析システムにおけるバイアスの同時緩和と検出を目的としたマルチタスク・トレーニング戦略を提案する。
具体的には,バイアスに対する識別モジュールと,ベース分類モデルにおける不公平性を予測するクリティカルモジュールを追加することを提案する。
大規模で利用可能な皮膚病変データセットのフレームワークを評価します。
論文 参考訳(メタデータ) (2021-03-07T03:10:32Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z) - Morshed: Guiding Behavioral Decision-Makers towards Better Security
Investment in Interdependent Systems [10.960507931439317]
我々は、相互依存システムの確保において、人間の意思決定の行動バイアスをモデル化する。
このような行動決定が資源配分の最適パターンに繋がることを示す。
複数ラウンド構成における意思決定向上のための3つの学習手法を提案する。
論文 参考訳(メタデータ) (2020-11-12T18:23:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。