論文の概要: Human Response to an AI-Based Decision Support System: A User Study on the Effects of Accuracy and Bias

• arxiv url: http://arxiv.org/abs/2203.15514v1
• Date: Thu, 24 Mar 2022 11:05:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-03 19:08:46.152502
• Title: Human Response to an AI-Based Decision Support System: A User Study on the Effects of Accuracy and Bias
• Title（参考訳）: AIに基づく意思決定支援システムに対する人間の反応:精度とバイアスの影響に関するユーザスタディ
• Authors: David Solans, Andrea Beretta, Manuel Portela, Carlos Castillo, Anna Monreale
• Abstract要約: 本稿では,意思決定支援システムの特徴に対する人間の反応を観察するための一連の実験について述べる。 我々はDSSの正確さとバイアスを変え、参加者の総得点、完了までの時間、提案に従うか無視するかを観察する。 以上の結果から,DSSでは得点が向上する傾向があり,DSSのアドバイスに従えば,DSSの難易度やDSSの精度が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 6.340848520197109
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial Intelligence (AI) is increasingly used to build Decision Support Systems (DSS) across many domains. This paper describes a series of experiments designed to observe human response to different characteristics of a DSS such as accuracy and bias, particularly the extent to which participants rely on the DSS, and the performance they achieve. In our experiments, participants play a simple online game inspired by so-called "wildcat" (i.e., exploratory) drilling for oil. The landscape has two layers: a visible layer describing the costs (terrain), and a hidden layer describing the reward (oil yield). Participants in the control group play the game without receiving any assistance, while in treatment groups they are assisted by a DSS suggesting places to drill. For certain treatments, the DSS does not consider costs, but only rewards, which introduces a bias that is observable by users. Between subjects, we vary the accuracy and bias of the DSS, and observe the participants' total score, time to completion, the extent to which they follow or ignore suggestions. We also measure the acceptability of the DSS in an exit survey. Our results show that participants tend to score better with the DSS, that the score increase is due to users following the DSS advice, and related to the difficulty of the game and the accuracy of the DSS. We observe that this setting elicits mostly rational behavior from participants, who place a moderate amount of trust in the DSS and show neither algorithmic aversion (under-reliance) nor automation bias (over-reliance).However, their stated willingness to accept the DSS in the exit survey seems less sensitive to the accuracy of the DSS than their behavior, suggesting that users are only partially aware of the (lack of) accuracy of the DSS.
• Abstract（参考訳）: 人工知能(AI)は、多くのドメインでDSS(Decision Support Systems)を構築するために使われるようになっている。 本稿では,dssの精度やバイアス,特に参加者がdssに依存する程度や達成した性能など,dssの異なる特性に対する人間の反応を観察するために設計された一連の実験について述べる。 実験では、参加者はいわゆる"Wildcat"(探索的)石油掘削にインスパイアされた簡単なオンラインゲームをした。 ランドスケープには2つのレイヤがあり、コスト(テライン)を記述する可視層と、報酬(オイル収量)を記述する隠蔽層がある。 コントロールグループの参加者は補助を受けずにゲームをし、治療グループではドリルの場所を提案するDSSによって支援される。 特定の治療について、DSSはコストを考慮せず、報酬のみを考慮し、ユーザーが観察できるバイアスをもたらす。 被験者間では,DSSの正確さとバイアスが変化し,参加者の総得点,完了までの時間,提案に従う程度,あるいは無視する程度が観察される。 また,出口調査においてdssの受容率を測定した。 その結果,参加者はdssのスコアが向上する傾向にあり,dssのアドバイスに従えば得点が上昇する傾向にあり,ゲームの難易度やdssの正確さに関係していることが示唆された。 この設定は、dssに対してある程度の信頼を置き、アルゴリズムによる回避(信頼)も自動化バイアス(信頼過剰)も示さない参加者からの合理的な行動のほとんどを導出する。 しかし、出口調査でDSSを受け入れる意思は、行動よりもDSSの正確さに敏感でないようで、ユーザーはDSSの正確さを部分的にしか認識していないことが示唆されている。

関連論文リスト

• ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs [72.13489820420726]
  ProSAは、大規模な言語モデルにおいて、迅速な感度を評価し、理解するために設計されたフレームワークである。 我々の研究は、データセットやモデル間で迅速に感度が変動することを発見し、より大きなモデルでは堅牢性が向上することを示した。
  論文  参考訳（メタデータ） (2024-10-16T09:38:13Z)
• CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems [60.27663010453209]
  我々は,大規模言語モデル(LLM)を利用して,満足度を考慮した対実対話を生成する。 生成されたサンプルの信頼性を確保するために、人間のアノテーションを収集します。 この結果から,TODシステムにおけるユーザ満足度推定のためのデータ拡張手法の必要性が明らかになった。
  論文  参考訳（メタデータ） (2024-03-27T23:45:31Z)
• Semi-supervised Open-World Object Detection [74.95267079505145]
  半教師付きオープンワールド検出(SS-OWOD)という,より現実的な定式化を導入する。 提案したSS-OWOD設定では,最先端OWOD検出器の性能が劇的に低下することが実証された。 我々は,MS COCO, PASCAL, Objects365, DOTAの4つのデータセットを用いた実験を行い, 提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-02-25T07:12:51Z)
• Part Representation Learning with Teacher-Student Decoder for Occluded Person Re-identification [65.63180725319906]
  本稿では,隠蔽者ReIDのためのTSD(Teacher-Student Decoder)フレームワークを提案する。 提案するTSDは,Parsing-aware Teacher Decoder (PTD) と標準学生デコーダ (SSD) から構成される。
  論文  参考訳（メタデータ） (2023-12-15T13:54:48Z)
• Unpacking Privacy Labels: A Measurement and Developer Perspective on Google's Data Safety Section [23.183167991569352]
  本稿では,定量的および定性的手法を用いて,Googleのデータ安全セクション(DSS)の包括的解析を行う。 報告されたプラクティスには内部的な矛盾があることが分かりました。 次に、DSSの縦断的研究を行い、報告されたプラクティスが時間の経過とともにどのように進化するかを考察する。
  論文  参考訳（メタデータ） (2023-06-13T20:01:08Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Uncertainty Quantification for Deep Neural Networks: An Empirical Comparison and Usage Guidelines [4.987581730476023]
  ディープニューラルネットワーク(DNN)は、複雑なデータを処理する必要がある大規模ソフトウェアシステムのコンポーネントとして、ますます利用されている。 不確実性推定によりスーパーバイザを実装するディープラーニングベースシステム(DLS)。
  論文  参考訳（メタデータ） (2022-12-14T09:12:30Z)
• Identifying and Measuring Token-Level Sentiment Bias in Pre-trained Language Models with Prompts [7.510757198308537]
  大規模事前訓練言語モデル(PLM)は、社会の多くの側面において広く採用されている。 近年のプロンプトチューニングの進歩は, PLMの内部機構を探求する可能性を示している。 我々は2つのトークンレベル感情テストを提案する: 感性アソシエーションテスト(SAT)と感性シフトテスト(SST)。
  論文  参考訳（メタデータ） (2022-04-15T02:01:31Z)
• A Review and Refinement of Surprise Adequacy [3.867363075280544]
  Surprise Adequacy (SA)は、ディープラーニング(DL)テストにおいて、新しく最も有望なAdequacy基準の1つである。 性能を最適化するが機能的に同等なsaの実装をリリースし,評価時間を最大97%削減した。 また,sa omputation アルゴリズムの改良版を提案し,さらなる評価速度の向上を目指す。
  論文  参考訳（メタデータ） (2021-03-10T08:56:04Z)
• Fail-Safe Execution of Deep Learning based Systems through Uncertainty Monitoring [4.56877715768796]
  フェールセーフなディープラーニングベースシステム(DLS)は、スーパーバイザーによってDNNの障害を処理する。 本稿では,DNNの不確実性推定器を用いて,そのようなスーパーバイザを実装する手法を提案する。 通常のtf.keras DNNに対する不確かさを透過的に推定できるツールUNCERTAINTY-WIZARDについて述べる。
  論文  参考訳（メタデータ） (2021-02-01T15:22:54Z)
• Assisted Perception: Optimizing Observations to Communicate State [112.40598205054994]
  我々は、ロボット遠隔操作や視覚障害のあるナビゲーションといったタスクにおいて、ユーザが世界の状態を見積もるのを支援することを目的としている。 ユーザによって処理された場合、より正確な内部状態推定につながる新しい観測結果を合成する。
  論文  参考訳（メタデータ） (2020-08-06T19:08:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。