論文の概要: Ground(less) Truth: A Causal Framework for Proxy Labels in
Human-Algorithm Decision-Making
- arxiv url: http://arxiv.org/abs/2302.06503v1
- Date: Mon, 13 Feb 2023 16:29:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 14:54:05.057863
- Title: Ground(less) Truth: A Causal Framework for Proxy Labels in
Human-Algorithm Decision-Making
- Title（参考訳）: Ground(less) Truth:人間-アルゴリズム意思決定におけるプロキシラベルの因果的枠組み
- Authors: Luke Guerdan, Amanda Coston, Zhiwei Steven Wu, Kenneth Holstein
- Abstract要約: 人間のAI意思決定タスクにおけるプロキシラベルの有効性に影響を与える5つの変数バイアス源を同定する。
各バイアス間の関係を乱すための因果的枠組みを開発する。
今後の研究において、ターゲット変数バイアスに対処する機会について論じる。
- 参考スコア（独自算出の注目度）: 29.071173441651734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A growing literature on human-AI decision-making investigates strategies for
combining human judgment with statistical models to improve decision-making.
Research in this area often evaluates proposed improvements to models,
interfaces, or workflows by demonstrating improved predictive performance on
"ground truth" labels. However, this practice overlooks a key difference
between human judgments and model predictions. Whereas humans reason about
broader phenomena of interest in a decision - including latent constructs that
are not directly observable, such as disease status, the "toxicity" of online
comments, or future "job performance" - predictive models target proxy labels
that are readily available in existing datasets. Predictive models' reliance on
simplistic proxies makes them vulnerable to various sources of statistical
bias. In this paper, we identify five sources of target variable bias that can
impact the validity of proxy labels in human-AI decision-making tasks. We
develop a causal framework to disentangle the relationship between each bias
and clarify which are of concern in specific human-AI decision-making tasks. We
demonstrate how our framework can be used to articulate implicit assumptions
made in prior modeling work, and we recommend evaluation strategies for
verifying whether these assumptions hold in practice. We then leverage our
framework to re-examine the designs of prior human subjects experiments that
investigate human-AI decision-making, finding that only a small fraction of
studies examine factors related to target variable bias. We conclude by
discussing opportunities to better address target variable bias in future
research.
- Abstract（参考訳）: 人間-AI意思決定に関する文献は、人間の判断と統計モデルを組み合わせて意思決定を改善する戦略を研究している。
この領域の研究は、"ground truth"ラベルでの予測性能の向上を実証することにより、モデル、インターフェイス、ワークフローの改善提案を評価することが多い。
しかし、このプラクティスは人間の判断とモデル予測の主な違いを見落としている。
人間は、病気の状態、オンラインコメントの「毒性」、将来の「ジョブパフォーマンス」など、直接観察できない潜在的構造を含む、決定に対するより広範な関心の現象を推論する一方で、予測モデルは、既存のデータセットで容易に利用できるプロキシラベルをターゲットにしている。
予測モデルの単純なプロキシへの依存は、様々な統計バイアス源に弱い。
本稿では,人間のAI意思決定タスクにおけるプロキシラベルの有効性に影響を与える5つの変数バイアス源を同定する。
我々は,各バイアス間の関係を解消する因果枠組みを開発し,特定の人間-ai意思決定タスクにおいてどのような懸念があるかを明らかにする。
我々は,事前モデリング作業における暗黙の仮定を明確化するためにフレームワークをどのように利用できるかを実証し,これらの仮定が実際に有効であるかどうかを検証するための評価戦略を推奨する。
そして、我々の枠組みを利用して、人間とAIの意思決定を調査する事前の人体実験の設計を再検討し、少数の研究のみが対象の変数バイアスに関連する要因を調査することを発見した。
今後の研究において、ターゲット変数バイアスに対処する機会について論じる。
関連論文リスト
- Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。
人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。
実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
論文 参考訳（メタデータ） (2024-11-13T10:42:11Z) - Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。
既存の感受性研究は、自己報告された信念に大きく依存している。
本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
論文 参考訳（メタデータ） (2023-11-16T07:22:56Z) - Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。
カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。
本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
論文 参考訳（メタデータ） (2023-07-17T04:08:29Z) - Is Your Model "MADD"? A Novel Metric to Evaluate Algorithmic Fairness
for Predictive Student Models [0.0]
本稿では,モデルの識別行動を分析するために,モデル絶対密度距離(MADD)を提案する。
オンライン授業における学生の成功を予測するための共通課題に対するアプローチを,いくつかの共通予測分類モデルを用いて評価した。
論文 参考訳（メタデータ） (2023-05-24T16:55:49Z) - Counterfactual Fair Opportunity: Measuring Decision Model Fairness with
Counterfactual Reasoning [5.626570248105078]
本研究は,不注意条件下での公正な場合において,反実的推論を用いて不公平なモデル行動を明らかにすることを目的とする。
対物フェアという対物機会の対物バージョンを定義し、対物サンプルのセンシティブな情報を分析する2つの新しい指標を紹介した。
論文 参考訳（メタデータ） (2023-02-16T09:13:53Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳（メタデータ） (2022-08-10T03:41:48Z) - Cross-model Fairness: Empirical Study of Fairness and Ethics Under Model Multiplicity [10.144058870887061]
1つの予測器が等しく機能するモデルのグループからアドホックに選択された場合、個人は害を受ける可能性があると我々は主張する。
これらの不公平性は実生活で容易に発見でき、技術的手段だけで緩和することは困難である可能性が示唆された。
論文 参考訳（メタデータ） (2022-03-14T14:33:39Z) - Investigations of Performance and Bias in Human-AI Teamwork in Hiring [30.046502708053097]
AIによる意思決定では、効果的なハイブリッドチームワーク(ヒューマンAI)は、AIのパフォーマンスにのみ依存するものではない。
本研究では,モデルの予測性能とバイアスの両方が,推薦型意思決定タスクにおいてどのように人間に伝達されるかを検討する。
論文 参考訳（メタデータ） (2022-02-21T17:58:07Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳（メタデータ） (2022-01-27T22:15:56Z) - Statistical discrimination in learning agents [64.78141757063142]
統計的差別は、訓練人口のバイアスとエージェントアーキテクチャの両方の関数としてエージェントポリシーに現れる。
我々は、リカレントニューラルネットワークを使用するエージェントによる差別の低減と、トレーニング環境のバイアスの低減が示される。
論文 参考訳（メタデータ） (2021-10-21T18:28:57Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2021-01-02T02:11:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。