論文の概要: Everything, Everywhere All in One Evaluation: Using Multiverse Analysis
to Evaluate the Influence of Model Design Decisions on Algorithmic Fairness
- arxiv url: http://arxiv.org/abs/2308.16681v1
- Date: Thu, 31 Aug 2023 12:32:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 14:34:36.716366
- Title: Everything, Everywhere All in One Evaluation: Using Multiverse Analysis
to Evaluate the Influence of Model Design Decisions on Algorithmic Fairness
- Title（参考訳）: すべて, すべて 1 つの評価: モデル設計決定がアルゴリズム的公正性に及ぼす影響を評価するために多元的分析を用いる
- Authors: Jan Simson and Florian Pfisterer and Christoph Kern
- Abstract要約: アルゴリズムによる意思決定(ADM)システムは、社会集団を差別する不公平な決定につながる可能性がある。
ADMシステムの設計においてなされた決定を明確にすることが重要である。
本稿では,アルゴリズムフェアネスのための多値解析手法を提案する。
- 参考スコア（独自算出の注目度）: 4.903263899016405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A vast number of systems across the world use algorithmic decision making
(ADM) to (partially) automate decisions that have previously been made by
humans. When designed well, these systems promise more objective decisions
while saving large amounts of resources and freeing up human time. However,
when ADM systems are not designed well, they can lead to unfair decisions which
discriminate against societal groups. The downstream effects of ADMs critically
depend on the decisions made during the systems' design and implementation, as
biases in data can be mitigated or reinforced along the modeling pipeline. Many
of these design decisions are made implicitly, without knowing exactly how they
will influence the final system. It is therefore important to make explicit the
decisions made during the design of ADM systems and understand how these
decisions affect the fairness of the resulting system.
To study this issue, we draw on insights from the field of psychology and
introduce the method of multiverse analysis for algorithmic fairness. In our
proposed method, we turn implicit design decisions into explicit ones and
demonstrate their fairness implications. By combining decisions, we create a
grid of all possible "universes" of decision combinations. For each of these
universes, we compute metrics of fairness and performance. Using the resulting
dataset, one can see how and which decisions impact fairness. We demonstrate
how multiverse analyses can be used to better understand variability and
robustness of algorithmic fairness using an exemplary case study of predicting
public health coverage of vulnerable populations for potential interventions.
Our results illustrate how decisions during the design of a machine learning
system can have surprising effects on its fairness and how to detect these
effects using multiverse analysis.
- Abstract（参考訳）: 世界中の多くのシステムがアルゴリズムによる意思決定(ADM)を使用して、これまで人間が行ってきた決定を(部分的に)自動化しています。
うまく設計されると、これらのシステムは大量のリソースを節約し、人間の時間を解放しながら、より客観的な決定を約束します。
しかし、ADMシステムが十分に設計されていない場合、社会集団を差別する不公平な判断につながる可能性がある。
ADMの下流効果は、データ内のバイアスがモデリングパイプラインに沿って緩和または強化されるため、システムの設計と実装の間の決定に大きく依存する。
これらの設計決定の多くは、最終的なシステムにどのように影響するかを正確に知ることなく、暗黙的に行われます。
したがって、ADMシステムの設計中に行われた決定を明確にし、これらの決定が結果のシステムの公平性にどのように影響するかを理解することが重要である。
この問題を研究するために,心理学の分野から洞察を導き,アルゴリズム的公正性に対する多元的分析手法を導入する。
提案手法では,暗黙の設計決定を明示的な決定とし,その公平性を示す。
決定を組み合わせることで、可能なすべての"一元的"な決定の組み合わせのグリッドを作ります。
これらの宇宙のそれぞれについて、フェアネスとパフォーマンスのメトリクスを計算します。
結果として得られたデータセットを使用することで、公平性にどのように影響するかを確認できる。
本稿では, アルゴリズムフェアネスの多様性と堅牢性をよりよく理解するために, 脆弱性のある集団の公衆衛生カバレッジを予測するための例を用いて, マルチバース分析をいかに活用できるかを実証する。
本研究は,機械学習システムの設計における決定が,その公平性に驚くべき影響を与え得ること,多元解析を用いてこれらの影響を検出する方法を示す。
関連論文リスト
- Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。
人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。
実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
論文 参考訳（メタデータ） (2024-11-13T10:42:11Z) - Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳（メタデータ） (2023-03-21T14:24:58Z) - Ground(less) Truth: A Causal Framework for Proxy Labels in
Human-Algorithm Decision-Making [29.071173441651734]
人間のAI意思決定タスクにおけるプロキシラベルの有効性に影響を与える5つの変数バイアス源を同定する。
各バイアス間の関係を乱すための因果的枠組みを開発する。
今後の研究において、ターゲット変数バイアスに対処する機会について論じる。
論文 参考訳（メタデータ） (2023-02-13T16:29:11Z) - Causal Fairness Analysis [68.12191782657437]
意思決定設定における公平性の問題を理解し、モデル化し、潜在的に解決するためのフレームワークを導入します。
我々のアプローチの主な洞察は、観測データに存在する格差の定量化と、基礎となる、しばしば観測されていない、因果的なメカニズムの収集を結びつけることである。
本研究は,文献中の異なる基準間の関係を整理し,説明するための最初の体系的試みであるフェアネスマップにおいて,本研究の成果を左右するものである。
論文 参考訳（メタデータ） (2022-07-23T01:06:34Z) - Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文 参考訳（メタデータ） (2022-05-20T20:50:17Z) - Inverse Online Learning: Understanding Non-Stationary and Reactionary
Policies [79.60322329952453]
エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。
一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。
本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。
UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
論文 参考訳（メタデータ） (2022-03-14T17:40:42Z) - VisRuler: Visual Analytics for Extracting Decision Rules from Bagged and Boosted Decision Trees [3.5229503563299915]
バッグングとブースティングは、機械学習(ML)において、多くの個別決定木を生成する2つの一般的なアンサンブル手法である。
本稿では,このようなMLモデルから決定を抽出するユーザを支援する視覚分析ツールを提案する。
論文 参考訳（メタデータ） (2021-12-01T08:01:02Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳（メタデータ） (2021-01-24T05:40:29Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - Morshed: Guiding Behavioral Decision-Makers towards Better Security
Investment in Interdependent Systems [10.960507931439317]
我々は、相互依存システムの確保において、人間の意思決定の行動バイアスをモデル化する。
このような行動決定が資源配分の最適パターンに繋がることを示す。
複数ラウンド構成における意思決定向上のための3つの学習手法を提案する。
論文 参考訳（メタデータ） (2020-11-12T18:23:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。