論文の概要: Uncalibrated Models Can Improve Human-AI Collaboration

• arxiv url: http://arxiv.org/abs/2202.05983v1
• Date: Sat, 12 Feb 2022 04:51:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 14:04:22.467851
• Title: Uncalibrated Models Can Improve Human-AI Collaboration
• Title（参考訳）: uncalibrated modelsは、人間とaiのコラボレーションを改善する
• Authors: Kailas Vodrahalli, Tobias Gerstenberg, and James Zou
• Abstract要約: 私たちは、AIモデルを実際によりも自信を持って提示することで、人間-AIのパフォーマンスが向上することを示した。 私たちはまず、何千もの人間のインタラクションのデータを使って、人間がAIアドバイスを組み込む方法のモデルを学びます。
• 参考スコア（独自算出の注目度）: 10.106324182884068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many practical applications of AI, an AI model is used as a decision aid for human users. The AI provides advice that a human (sometimes) incorporates into their decision-making process. The AI advice is often presented with some measure of "confidence" that the human can use to calibrate how much they depend on or trust the advice. In this paper, we demonstrate that presenting AI models as more confident than they actually are, even when the original AI is well-calibrated, can improve human-AI performance (measured as the accuracy and confidence of the human's final prediction after seeing the AI advice). We first learn a model for how humans incorporate AI advice using data from thousands of human interactions. This enables us to explicitly estimate how to transform the AI's prediction confidence, making the AI uncalibrated, in order to improve the final human prediction. We empirically validate our results across four different tasks -- dealing with images, text and tabular data -- involving hundreds of human participants. We further support our findings with simulation analysis. Our findings suggest the importance of and a framework for jointly optimizing the human-AI system as opposed to the standard paradigm of optimizing the AI model alone.
• Abstract（参考訳）: AIの多くの実践的応用において、AIモデルは人間のユーザーのための意思決定支援として使用される。 AIは、人間(時には)が意思決定プロセスに組み込むアドバイスを提供する。 AIアドバイスは、人間がどれだけ頼りにするかを調整したり、アドバイスを信頼したりするのに使える「自信」の尺度で示されることが多い。 本稿では、オリジナルのAIが十分に校正された場合でも、AIモデルを実際によりも自信を持って提示することで、人間とAIのパフォーマンス(AIアドバイスを見た後の人間の最終的な予測の正確さと信頼性として測定される)を向上させることを実証する。 私たちはまず、何千もの人間のインタラクションのデータを使って、人間がAIアドバイスを組み込む方法のモデルを学びます。 これにより、最終的な人間の予測を改善するために、AIの予測信頼性の変換方法を明示的に見積もることができる。 私たちは、画像、テキスト、表データを扱う4つの異なるタスクで結果を検証することで、数百人の人間が参加します。 シミュレーション分析でさらに研究結果を支持した。 この結果から,AIモデルのみを最適化する標準パラダイムとは対照的に,人間とAIシステムの協調最適化のためのフレームワークの重要性が示唆された。

関連論文リスト

• Unexploited Information Value in Human-AI Collaboration [23.353778024330165]
  ヒューマンAIチームのパフォーマンスを改善する方法は、各エージェントがどのような情報や戦略を採用しているかを知らなければ、しばしば明確ではない。 本稿では,人間とAIの協調関係を分析するための統計的決定理論に基づくモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-03T01:34:45Z)
• Exploration with Principles for Diverse AI Supervision [88.61687950039662]
  次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。 この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。 この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。 本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:03:39Z)
• Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
  AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。 偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。 問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-04-16T11:22:59Z)
• On the Effect of Information Asymmetry in Human-AI Teams [0.0]
  我々は、人間とAIの相補的ポテンシャルの存在に焦点を当てる。 具体的には、情報非対称性を相補性ポテンシャルの必須源とみなす。 オンライン実験を行うことで、人間がそのような文脈情報を使ってAIの決定を調整できることを実証する。
  論文  参考訳（メタデータ） (2022-05-03T13:02:50Z)
• Best-Response Bayesian Reinforcement Learning with Bayes-adaptive POMDPs for Centaurs [22.52332536886295]
  本稿では,人間とAIの相互作用を逐次ゲームとして新たに定式化する。 このケースでは、有界人間によるより良い意思決定を支援するというAIの問題は、ベイズ対応のPOMDPに還元される。 我々は、機械が自身の限界と人間の助けを借りて改善する方法について議論する。
  論文  参考訳（メタデータ） (2022-04-03T21:00:51Z)
• The Response Shift Paradigm to Quantify Human Trust in AI Recommendations [6.652641137999891]
  説明可能性、解釈可能性、そしてそれらがAIシステムに対する人間の信頼にどれほど影響するかは、究極的には機械学習と同じくらいの人間の認知の問題である。 我々は,AIレコメンデーションが人的決定に与える影響を定量化する汎用のヒューマン・AIインタラクション・パラダイムを開発し,検証した。 我々の実証・実証パラダイムは、急速に成長するXAI/IAIアプローチをエンドユーザーへの影響の観点から定量的に比較することができる。
  論文  参考訳（メタデータ） (2022-02-16T22:02:09Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Trustworthy AI: A Computational Perspective [54.80482955088197]
  我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。 各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
  論文  参考訳（メタデータ） (2021-07-12T14:21:46Z)
• Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
  AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。 我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。 実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
  論文  参考訳（メタデータ） (2020-04-27T19:06:28Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。