論文の概要: Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork

• arxiv url: http://arxiv.org/abs/2004.13102v3
• Date: Fri, 19 Feb 2021 20:22:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 04:45:07.800119
• Title: Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork
• Title（参考訳）: 最も正確なaiは最高のチームメイトか? チームワークのためのAIの最適化
• Authors: Gagan Bansal, Besmira Nushi, Ece Kamar, Eric Horvitz, Daniel S. Weld
• Abstract要約: AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。 我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。 実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
• 参考スコア（独自算出の注目度）: 54.309495231017344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI practitioners typically strive to develop the most accurate systems, making an implicit assumption that the AI system will function autonomously. However, in practice, AI systems often are used to provide advice to people in domains ranging from criminal justice and finance to healthcare. In such AI-advised decision making, humans and machines form a team, where the human is responsible for making final decisions. But is the most accurate AI the best teammate? We argue "No" -- predictable performance may be worth a slight sacrifice in AI accuracy. Instead, we argue that AI systems should be trained in a human-centered manner, directly optimized for team performance. We study this proposal for a specific type of human-AI teaming, where the human overseer chooses to either accept the AI recommendation or solve the task themselves. To optimize the team performance for this setting we maximize the team's expected utility, expressed in terms of the quality of the final decision, cost of verifying, and individual accuracies of people and machines. Our experiments with linear and non-linear models on real-world, high-stakes datasets show that the most accuracy AI may not lead to highest team performance and show the benefit of modeling teamwork during training through improvements in expected team utility across datasets, considering parameters such as human skill and the cost of mistakes. We discuss the shortcoming of current optimization approaches beyond well-studied loss functions such as log-loss, and encourage future work on AI optimization problems motivated by human-AI collaboration.
• Abstract（参考訳）: AI実践者は一般的に、最も正確なシステムを開発しようと試み、AIシステムが自律的に機能するという暗黙の仮定を立てる。 しかし、実際には、aiシステムは刑事司法や金融、医療など幅広い分野の人々にアドバイスを提供するためにしばしば使用される。 このようなAIが推奨する意思決定では、人間と機械がチームを形成し、人間は最終決定を行う責任を負う。 しかし、最も正確なAIはチームメイトなのか? 予測可能なパフォーマンスは、AIの精度を少し犠牲にする価値があるかもしれません。 その代わり、私たちは、aiシステムは人間中心の方法で訓練され、チームパフォーマンスに直接最適化されるべきであると主張する。 我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。 この設定でチームのパフォーマンスを最適化するために、最終決定の質、検証のコスト、人や機械の個々の精度の観点から表現されたチームの期待するユーティリティを最大化する。 実世界のハイステイクデータセットにおけるリニアおよび非線形モデルを用いた実験では、最も精度の高いaiは、チームパフォーマンスを最大にするものではなく、トレーニング中のチームワークのモデリングのメリットを、人間のスキルやミスのコストといったパラメータを考慮して、データセット全体のチームユーティリティの改善を通じて示しています。 本稿では、ログロスのような十分に学習された損失関数を超えた現在の最適化アプローチの欠点について論じ、人間-aiコラボレーションを動機とするai最適化問題に対する今後の取り組みを奨励する。

関連論文リスト

• Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
  日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。 利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
  論文  参考訳（メタデータ） (2024-10-21T22:39:52Z)
• Comparing Zealous and Restrained AI Recommendations in a Real-World Human-AI Collaboration Task [11.040918613968854]
  正確さとリコールのトレードオフを慎重に活用することで、チームのパフォーマンスが大幅に向上する、と私たちは主張する。 我々は、a)AIアシストなし、b)高精度な「制限された」AI、c)3,466時間以上のアノテーション作業で、78のプロのアノテータのパフォーマンスを分析する。
  論文  参考訳（メタデータ） (2024-10-06T23:19:19Z)
• Beyond Recommender: An Exploratory Study of the Effects of Different AI Roles in AI-Assisted Decision Making [48.179458030691286]
  Recommender、Analyzer、Devil's Advocateの3つのAIの役割について検討する。 以上の結果から,各役割のタスクパフォーマンス,信頼性の適切性,ユーザエクスペリエンスにおける長所と短所が明らかとなった。 これらの洞察は、異なる状況に応じて適応的な機能的役割を持つAIアシスタントを設計する上で、貴重な意味を提供する。
  論文  参考訳（メタデータ） (2024-03-04T07:32:28Z)
• Advancing Human-AI Complementarity: The Impact of User Expertise and Algorithmic Tuning on Joint Decision Making [10.890854857970488]
  ユーザのドメイン知識、AIシステムのメンタルモデル、レコメンデーションへの信頼など、多くの要因がヒューマンAIチームの成功に影響を与える可能性がある。 本研究は,非自明な血管ラベル作成作業において,血管が流れているか停止しているかを被験者に示すことを目的とした。 以上の結果から,AI-Assistantからの推薦はユーザの意思決定に役立つが,AIに対するユーザベースラインのパフォーマンスや,AIエラー型の相補的チューニングといった要因は,チーム全体のパフォーマンスに大きな影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2022-08-16T21:39:58Z)
• Best-Response Bayesian Reinforcement Learning with Bayes-adaptive POMDPs for Centaurs [22.52332536886295]
  本稿では,人間とAIの相互作用を逐次ゲームとして新たに定式化する。 このケースでは、有界人間によるより良い意思決定を支援するというAIの問題は、ベイズ対応のPOMDPに還元される。 我々は、機械が自身の限界と人間の助けを借りて改善する方法について議論する。
  論文  参考訳（メタデータ） (2022-04-03T21:00:51Z)
• Uncalibrated Models Can Improve Human-AI Collaboration [10.106324182884068]
  私たちは、AIモデルを実際によりも自信を持って提示することで、人間-AIのパフォーマンスが向上することを示した。 私たちはまず、何千もの人間のインタラクションのデータを使って、人間がAIアドバイスを組み込む方法のモデルを学びます。
  論文  参考訳（メタデータ） (2022-02-12T04:51:00Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance [44.730580857733]
  以前の研究では、AIが人間と最高のチームの両方を上回った場合にのみ、説明による改善が観察された。 我々は、3つのデータセットで混合メソッドのユーザー研究を行い、人間に匹敵する精度のAIが、参加者のタスク解決に役立ちます。 説明は、人間がAIの推奨を受け入れる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-26T03:34:04Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。