論文の概要: Investigations of Performance and Bias in Human-AI Teamwork in Hiring
- arxiv url: http://arxiv.org/abs/2202.11812v1
- Date: Mon, 21 Feb 2022 17:58:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-26 10:27:57.659496
- Title: Investigations of Performance and Bias in Human-AI Teamwork in Hiring
- Title(参考訳): 雇用における人間-AIチームワークのパフォーマンスとバイアスに関する研究
- Authors: Andi Peng, Besmira Nushi, Emre Kiciman, Kori Inkpen, Ece Kamar
- Abstract要約: AIによる意思決定では、効果的なハイブリッドチームワーク(ヒューマンAI)は、AIのパフォーマンスにのみ依存するものではない。
本研究では,モデルの予測性能とバイアスの両方が,推薦型意思決定タスクにおいてどのように人間に伝達されるかを検討する。
- 参考スコア(独自算出の注目度): 30.046502708053097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In AI-assisted decision-making, effective hybrid (human-AI) teamwork is not
solely dependent on AI performance alone, but also on its impact on human
decision-making. While prior work studies the effects of model accuracy on
humans, we endeavour here to investigate the complex dynamics of how both a
model's predictive performance and bias may transfer to humans in a
recommendation-aided decision task. We consider the domain of ML-assisted
hiring, where humans -- operating in a constrained selection setting -- can
choose whether they wish to utilize a trained model's inferences to help select
candidates from written biographies. We conduct a large-scale user study
leveraging a re-created dataset of real bios from prior work, where humans
predict the ground truth occupation of given candidates with and without the
help of three different NLP classifiers (random, bag-of-words, and deep neural
network). Our results demonstrate that while high-performance models
significantly improve human performance in a hybrid setting, some models
mitigate hybrid bias while others accentuate it. We examine these findings
through the lens of decision conformity and observe that our model architecture
choices have an impact on human-AI conformity and bias, motivating the explicit
need to assess these complex dynamics prior to deployment.
- Abstract(参考訳): AIによる意思決定では、効果的なハイブリッド(ヒューマンAI)チームワークは、AIのパフォーマンスだけでなく、人間の意思決定への影響にも依存する。
先行研究は,モデル精度が人間に与える影響を考察する一方で,モデルの予測性能とバイアスが,レコメンデーション支援決定タスクにおいてどのように人間に伝達されるかという複雑なダイナミクスを検討する。
制約のある選択設定で動作している人間が、訓練されたモデルの推論を使用して、書かれたバイオグラフィーから候補者を選択するのに役立つかどうかを選択できるML支援採用の分野を考える。
我々は,3つの異なるNLP分類器(ランダム,バッグ・オブ・ワード,ディープ・ニューラル・ネットワーク)の助けなしに,人間が与えられた候補者の接地真実の占有を予測できる,先行作業から生成された実バイオのデータセットを活用する大規模ユーザスタディを実施。
以上の結果から,ハイパフォーマンスモデルはハイブリッド環境での人的パフォーマンスを著しく向上するが,ハイブリッドバイアスを緩和するモデルもある一方で,アクセントを緩和するモデルもある。
決定適合性のレンズを通してこれらの知見を検証し、我々のモデルアーキテクチャ選択が人間-AI適合性とバイアスに与える影響を観察し、これらの複雑なダイナミクスを展開前に明確に評価する必要性を動機付けている。
関連論文リスト
- Offline Risk-sensitive RL with Partial Observability to Enhance
Performance in Human-Robot Teaming [1.3980986259786223]
本稿では,モデルの不確実性を取り入れ,リスクに敏感なシーケンシャルな意思決定を可能にする手法を提案する。
シミュレーションロボット遠隔操作環境において,26名の被験者を対象に実験を行った。
論文 参考訳(メタデータ) (2024-02-08T14:27:34Z) - Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。
また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文 参考訳(メタデータ) (2024-01-11T17:56:59Z) - Modeling Boundedly Rational Agents with Latent Inference Budgets [56.24971011281947]
エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(L-IBM)を導入する。
L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。
我々は,L-IBMが不確実性の下での意思決定のボルツマンモデルに適合しているか,あるいは上回っていることを示す。
論文 参考訳(メタデータ) (2023-12-07T03:55:51Z) - Towards Personalized Federated Learning via Heterogeneous Model
Reassembly [84.44268421053043]
pFedHRは、異種モデルの再組み立てを利用して、パーソナライズされたフェデレーション学習を実現するフレームワークである。
pFedHRは、動的に多様なパーソナライズされたモデルを自動生成する。
論文 参考訳(メタデータ) (2023-08-16T19:36:01Z) - Ground(less) Truth: A Causal Framework for Proxy Labels in
Human-Algorithm Decision-Making [29.071173441651734]
人間のAI意思決定タスクにおけるプロキシラベルの有効性に影響を与える5つの変数バイアス源を同定する。
各バイアス間の関係を乱すための因果的枠組みを開発する。
今後の研究において、ターゲット変数バイアスに対処する機会について論じる。
論文 参考訳(メタデータ) (2023-02-13T16:29:11Z) - Learning Complementary Policies for Human-AI Teams [22.13683008398939]
本稿では,効果的な行動選択のための新しい人間-AI協調のための枠組みを提案する。
私たちのソリューションは、人間とAIの相補性を利用して意思決定報酬を最大化することを目的としています。
論文 参考訳(メタデータ) (2023-02-06T17:22:18Z) - Optimal Behavior Prior: Data-Efficient Human Models for Improved
Human-AI Collaboration [0.5524804393257919]
人間のモデルに最適な振る舞いを先行して使用すると、これらのモデルの方がはるかにデータ効率が良くなることを示す。
また、これらの改良された人間モデルを使用することで、人間とAIのコラボレーションのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2022-11-03T06:10:22Z) - Skill Preferences: Learning to Extract and Execute Robotic Skills from
Human Feedback [82.96694147237113]
Skill Preferencesは、人間の好みよりもモデルを学習し、オフラインデータから人間に沿ったスキルを抽出するアルゴリズムである。
SkiPは複雑なマルチステップ操作タスクをシミュレートしたキッチンロボットで実現できることを示す。
論文 参考訳(メタデータ) (2021-08-11T18:04:08Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳(メタデータ) (2021-06-02T00:48:33Z) - Adversarial Sample Enhanced Domain Adaptation: A Case Study on
Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。
逆生成したサンプルはドメイン適応時に使用される。
その結果,本手法の有効性とタスクの一般性が確認された。
論文 参考訳(メタデータ) (2021-01-13T03:20:20Z) - Deciding Fast and Slow: The Role of Cognitive Biases in AI-assisted
Decision-making [46.625616262738404]
我々は、認知科学の分野からの知識を用いて、人間とAIの協調的な意思決定設定における認知バイアスを考慮します。
私たちは、人間とAIのコラボレーションでよく見られるバイアスであるバイアスのアンカーに特に焦点を当てています。
論文 参考訳(メタデータ) (2020-10-15T22:25:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。