論文の概要: Investigations of Performance and Bias in Human-AI Teamwork in Hiring

• arxiv url: http://arxiv.org/abs/2202.11812v1
• Date: Mon, 21 Feb 2022 17:58:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-26 10:27:57.659496
• Title: Investigations of Performance and Bias in Human-AI Teamwork in Hiring
• Title（参考訳）: 雇用における人間-AIチームワークのパフォーマンスとバイアスに関する研究
• Authors: Andi Peng, Besmira Nushi, Emre Kiciman, Kori Inkpen, Ece Kamar
• Abstract要約: AIによる意思決定では、効果的なハイブリッドチームワーク(ヒューマンAI)は、AIのパフォーマンスにのみ依存するものではない。 本研究では,モデルの予測性能とバイアスの両方が,推薦型意思決定タスクにおいてどのように人間に伝達されるかを検討する。
• 参考スコア（独自算出の注目度）: 30.046502708053097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In AI-assisted decision-making, effective hybrid (human-AI) teamwork is not solely dependent on AI performance alone, but also on its impact on human decision-making. While prior work studies the effects of model accuracy on humans, we endeavour here to investigate the complex dynamics of how both a model's predictive performance and bias may transfer to humans in a recommendation-aided decision task. We consider the domain of ML-assisted hiring, where humans -- operating in a constrained selection setting -- can choose whether they wish to utilize a trained model's inferences to help select candidates from written biographies. We conduct a large-scale user study leveraging a re-created dataset of real bios from prior work, where humans predict the ground truth occupation of given candidates with and without the help of three different NLP classifiers (random, bag-of-words, and deep neural network). Our results demonstrate that while high-performance models significantly improve human performance in a hybrid setting, some models mitigate hybrid bias while others accentuate it. We examine these findings through the lens of decision conformity and observe that our model architecture choices have an impact on human-AI conformity and bias, motivating the explicit need to assess these complex dynamics prior to deployment.
• Abstract（参考訳）: AIによる意思決定では、効果的なハイブリッド(ヒューマンAI)チームワークは、AIのパフォーマンスだけでなく、人間の意思決定への影響にも依存する。 先行研究は,モデル精度が人間に与える影響を考察する一方で,モデルの予測性能とバイアスが,レコメンデーション支援決定タスクにおいてどのように人間に伝達されるかという複雑なダイナミクスを検討する。 制約のある選択設定で動作している人間が、訓練されたモデルの推論を使用して、書かれたバイオグラフィーから候補者を選択するのに役立つかどうかを選択できるML支援採用の分野を考える。 我々は,3つの異なるNLP分類器(ランダム,バッグ・オブ・ワード,ディープ・ニューラル・ネットワーク)の助けなしに,人間が与えられた候補者の接地真実の占有を予測できる,先行作業から生成された実バイオのデータセットを活用する大規模ユーザスタディを実施。 以上の結果から,ハイパフォーマンスモデルはハイブリッド環境での人的パフォーマンスを著しく向上するが,ハイブリッドバイアスを緩和するモデルもある一方で,アクセントを緩和するモデルもある。 決定適合性のレンズを通してこれらの知見を検証し、我々のモデルアーキテクチャ選択が人間-AI適合性とバイアスに与える影響を観察し、これらの複雑なダイナミクスを展開前に明確に評価する必要性を動機付けている。

関連論文リスト

• Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
  本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。 人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。 実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
  論文  参考訳（メタデータ） (2024-11-13T10:42:11Z)
• How Aligned are Generative Models to Humans in High-Stakes Decision-Making? [10.225573060836478]
  大規模生成モデル(LM)は、高い意思決定のためにますます検討されている。 この研究は、リシビズム予測の特定のケースにおいて、そのようなモデルが人間や予測AIモデルとどのように比較されるかを検討する。
  論文  参考訳（メタデータ） (2024-10-20T19:00:59Z)
• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• Using LLMs to Model the Beliefs and Preferences of Targeted Populations [4.0849074543032105]
  本研究では,人間の嗜好をモデル化する大規模言語モデル (LLM) の整合性について考察する。 特定の集団の信念、好み、行動のモデル化は、様々な応用に有用である。
  論文  参考訳（メタデータ） (2024-03-29T15:58:46Z)
• Offline Risk-sensitive RL with Partial Observability to Enhance Performance in Human-Robot Teaming [1.3980986259786223]
  本稿では,モデルの不確実性を取り入れ,リスクに敏感なシーケンシャルな意思決定を可能にする手法を提案する。 シミュレーションロボット遠隔操作環境において,26名の被験者を対象に実験を行った。
  論文  参考訳（メタデータ） (2024-02-08T14:27:34Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Modeling Boundedly Rational Agents with Latent Inference Budgets [56.24971011281947]
  エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(L-IBM)を導入する。 L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。 我々は,L-IBMが不確実性の下での意思決定のボルツマンモデルに適合しているか,あるいは上回っていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T03:55:51Z)
• Towards Personalized Federated Learning via Heterogeneous Model Reassembly [84.44268421053043]
  pFedHRは、異種モデルの再組み立てを利用して、パーソナライズされたフェデレーション学習を実現するフレームワークである。 pFedHRは、動的に多様なパーソナライズされたモデルを自動生成する。
  論文  参考訳（メタデータ） (2023-08-16T19:36:01Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)
• Predicting human decisions with behavioral theories and machine learning [13.000185375686325]
  BEAST Gradient Boosting (BEAST-GB) は,行動理論を機械学習技術と相乗する新しいハイブリッドモデルである。 BEAST-GBは,人的リスク選択のデータセットとして最大規模で,最先端のパフォーマンスを実現していることを示す。 また、BEAST-GBは、新しい実験コンテキストにおける選択の振る舞いを効果的に予測するため、堅牢なドメイン一般化機能を示す。
  論文  参考訳（メタデータ） (2019-04-15T06:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。