論文の概要: One Model Many Scores: Using Multiverse Analysis to Prevent Fairness Hacking and Evaluate the Influence of Model Design Decisions
- arxiv url: http://arxiv.org/abs/2308.16681v3
- Date: Wed, 19 Jun 2024 00:49:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-22 06:47:03.146070
- Title: One Model Many Scores: Using Multiverse Analysis to Prevent Fairness Hacking and Evaluate the Influence of Model Design Decisions
- Title（参考訳）: 1モデル多スコア:マルチバース解析を用いたフェアネスハックの防止とモデル設計決定の影響評価
- Authors: Jan Simson, Florian Pfisterer, Christoph Kern,
- Abstract要約: 設計と評価の決定の公平さをよりよく理解するために,多変量解析をどのように利用できるかを示す。
結果から,システム評価に関する決定が,同じモデルに対して,極めて異なる公平度指標を導出する可能性を強調した。
- 参考スコア（独自算出の注目度）: 4.362723406385396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A vast number of systems across the world use algorithmic decision making (ADM) to (partially) automate decisions that have previously been made by humans. The downstream effects of ADM systems critically depend on the decisions made during a systems' design, implementation, and evaluation, as biases in data can be mitigated or reinforced along the modeling pipeline. Many of these decisions are made implicitly, without knowing exactly how they will influence the final system. To study this issue, we draw on insights from the field of psychology and introduce the method of multiverse analysis for algorithmic fairness. In our proposed method, we turn implicit decisions during design and evaluation into explicit ones and demonstrate their fairness implications. By combining decisions, we create a grid of all possible "universes" of decision combinations. For each of these universes, we compute metrics of fairness and performance. Using the resulting dataset, one can investigate the variability and robustness of fairness scores and see how and which decisions impact fairness. We demonstrate how multiverse analyses can be used to better understand fairness implications of design and evaluation decisions using an exemplary case study of predicting public health care coverage for vulnerable populations. Our results highlight how decisions regarding the evaluation of a system can lead to vastly different fairness metrics for the same model. This is problematic, as a nefarious actor could optimise or "hack" a fairness metric to portray a discriminating model as fair merely by changing how it is evaluated. We illustrate how a multiverse analysis can help to address this issue.
- Abstract（参考訳）: 世界中の多くのシステムがアルゴリズムによる意思決定(ADM)を使用して、これまで人間が行ってきた決定を(部分的に)自動化しています。
ADMシステムの下流効果は、データ内のバイアスがモデリングパイプラインに沿って緩和または強化されるため、システムの設計、実装、評価の間の決定に大きく依存する。
これらの決定の多くは、最終的なシステムにどのように影響するかを正確に知ることなく、暗黙的に行われます。
この問題を考察するために,心理学の分野から洞察を導き,アルゴリズム的公正性に対する多元的分析手法を導入する。
提案手法では,設計と評価において暗黙的な決定を明示的な決定に転換し,その公正さを実証する。
決定を組み合わせることで、可能なすべての"一元的"な決定の組み合わせのグリッドを作ります。
これらの宇宙のそれぞれについて、フェアネスとパフォーマンスのメトリクスを計算します。
結果のデータセットを使用して、公正度スコアの変動性と堅牢性を調べ、公平性にどのように影響するか、どの決定が影響するかを確認することができる。
本研究は, 弱者に対する公衆医療保険のカバー範囲を推定する模範事例を用いて, 設計・評価決定の公平性への影響をよりよく理解するために多元的分析をいかに活用できるかを実証する。
結果から,システム評価に関する決定が,同じモデルに対して,極めて異なる公平度指標を導出する可能性を強調した。
これは、悪質な俳優がフェアネスメトリックを最適化したり、あるいは「ハック」したりして、その評価方法を変えるだけで差別モデルがフェアであると表現できるため、問題である。
マルチバース解析がこの問題にどう対処できるかを説明する。
関連論文リスト
- Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。
人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。
実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
論文 参考訳（メタデータ） (2024-11-13T10:42:11Z) - Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳（メタデータ） (2023-03-21T14:24:58Z) - Ground(less) Truth: A Causal Framework for Proxy Labels in
Human-Algorithm Decision-Making [29.071173441651734]
人間のAI意思決定タスクにおけるプロキシラベルの有効性に影響を与える5つの変数バイアス源を同定する。
各バイアス間の関係を乱すための因果的枠組みを開発する。
今後の研究において、ターゲット変数バイアスに対処する機会について論じる。
論文 参考訳（メタデータ） (2023-02-13T16:29:11Z) - Causal Fairness Analysis [68.12191782657437]
意思決定設定における公平性の問題を理解し、モデル化し、潜在的に解決するためのフレームワークを導入します。
我々のアプローチの主な洞察は、観測データに存在する格差の定量化と、基礎となる、しばしば観測されていない、因果的なメカニズムの収集を結びつけることである。
本研究は,文献中の異なる基準間の関係を整理し,説明するための最初の体系的試みであるフェアネスマップにおいて,本研究の成果を左右するものである。
論文 参考訳（メタデータ） (2022-07-23T01:06:34Z) - Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文 参考訳（メタデータ） (2022-05-20T20:50:17Z) - Inverse Online Learning: Understanding Non-Stationary and Reactionary
Policies [79.60322329952453]
エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。
一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。
本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。
UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
論文 参考訳（メタデータ） (2022-03-14T17:40:42Z) - VisRuler: Visual Analytics for Extracting Decision Rules from Bagged and Boosted Decision Trees [3.5229503563299915]
バッグングとブースティングは、機械学習(ML)において、多くの個別決定木を生成する2つの一般的なアンサンブル手法である。
本稿では,このようなMLモデルから決定を抽出するユーザを支援する視覚分析ツールを提案する。
論文 参考訳（メタデータ） (2021-12-01T08:01:02Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳（メタデータ） (2021-01-24T05:40:29Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - Morshed: Guiding Behavioral Decision-Makers towards Better Security
Investment in Interdependent Systems [10.960507931439317]
我々は、相互依存システムの確保において、人間の意思決定の行動バイアスをモデル化する。
このような行動決定が資源配分の最適パターンに繋がることを示す。
複数ラウンド構成における意思決定向上のための3つの学習手法を提案する。
論文 参考訳（メタデータ） (2020-11-12T18:23:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。