論文の概要: Comparing Zealous and Restrained AI Recommendations in a Real-World Human-AI Collaboration Task

• arxiv url: http://arxiv.org/abs/2410.11860v1
• Date: Sun, 06 Oct 2024 23:19:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-20 09:41:06.473252
• Title: Comparing Zealous and Restrained AI Recommendations in a Real-World Human-AI Collaboration Task
• Title（参考訳）: 実世界における人間とAIの協調作業におけるZealousとRestrained AIレコメンデーションの比較
• Authors: Chengyuan Xu, Kuo-Chin Lien, Tobias Höllerer,
• Abstract要約: 正確さとリコールのトレードオフを慎重に活用することで、チームのパフォーマンスが大幅に向上する、と私たちは主張する。 我々は、a)AIアシストなし、b)高精度な「制限された」AI、c)3,466時間以上のアノテーション作業で、78のプロのアノテータのパフォーマンスを分析する。
• 参考スコア（独自算出の注目度）: 11.040918613968854
• License:
• Abstract: When designing an AI-assisted decision-making system, there is often a tradeoff between precision and recall in the AI's recommendations. We argue that careful exploitation of this tradeoff can harness the complementary strengths in the human-AI collaboration to significantly improve team performance. We investigate a real-world video anonymization task for which recall is paramount and more costly to improve. We analyze the performance of 78 professional annotators working with a) no AI assistance, b) a high-precision "restrained" AI, and c) a high-recall "zealous" AI in over 3,466 person-hours of annotation work. In comparison, the zealous AI helps human teammates achieve significantly shorter task completion time and higher recall. In a follow-up study, we remove AI assistance for everyone and find negative training effects on annotators trained with the restrained AI. These findings and our analysis point to important implications for the design of AI assistance in recall-demanding scenarios.
• Abstract（参考訳）: AIが支援する意思決定システムを設計する場合、AIの推奨する精度とリコールの間にはしばしばトレードオフがある。 このトレードオフを慎重に活用することは、チームパフォーマンスを大幅に改善するために、人間とAIのコラボレーションにおける補完的な強みを活用することができる、と私たちは主張する。 本稿では,リコールが最重要かつコストのかかる実世界のビデオ匿名化タスクについて検討する。 78名のプロアノテータの作業性能の解析 a)AI支援はなし。 b)高精度な「制限された」AI、及び c)3,466時間以上の注釈作業において、ハイリコールの「熱狂的な」AI。 対照的に、熱狂的なAIは、人間のチームメイトがタスク完了時間を大幅に短縮し、リコール率を高めるのに役立つ。 フォローアップ調査では、すべての人のAI支援を取り除き、制限されたAIでトレーニングされたアノテータに対して負のトレーニング効果を見出す。 これらの知見と分析は、リコール要求シナリオにおけるAI支援の設計に重要な意味を指摘する。

関連論文リスト

• Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
  日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。 利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
  論文  参考訳（メタデータ） (2024-10-21T22:39:52Z)
• DanZero+: Dominating the GuanDan Game through Reinforcement Learning [95.90682269990705]
  我々は、GuanDanという、非常に複雑で人気のあるカードゲームのためのAIプログラムを開発した。 私たちはまず、DanZeroという名のAIプログラムをこのゲームのために提案しました。 AIの能力をさらに強化するために、政策に基づく強化学習アルゴリズムをGuanDanに適用する。
  論文  参考訳（メタデータ） (2023-12-05T08:07:32Z)
• Understanding the Effect of Counterfactual Explanations on Trust and Reliance on AI for Human-AI Collaborative Clinical Decision Making [5.381004207943597]
  本研究は,7人のセラピストと10人のレイパーを対象に,ストローク後生存者の運動の質を評価するための実験を行った。 我々は2種類のAI説明なしで、彼らのパフォーマンス、タスクの合意レベル、AIへの依存を分析した。 我々の研究は、AIモデルの精度をより正確に見積り、間違ったAI出力に対する過度な信頼を減らすために、反事実的説明の可能性について論じている。
  論文  参考訳（メタデータ） (2023-08-08T16:23:46Z)
• Improving Human-AI Collaboration With Descriptions of AI Behavior [14.904401331154062]
  人々はAIシステムを使って意思決定を改善するが、しばしばAIの予測を過度に、あるいは過度に予測し、手伝わなかったよりも悪いパフォーマンスをする。 人々がAIアシスタントを適切に頼りにするために、行動記述を示すことを提案する。
  論文  参考訳（メタデータ） (2023-01-06T00:33:08Z)
• Advancing Human-AI Complementarity: The Impact of User Expertise and Algorithmic Tuning on Joint Decision Making [10.890854857970488]
  ユーザのドメイン知識、AIシステムのメンタルモデル、レコメンデーションへの信頼など、多くの要因がヒューマンAIチームの成功に影響を与える可能性がある。 本研究は,非自明な血管ラベル作成作業において,血管が流れているか停止しているかを被験者に示すことを目的とした。 以上の結果から,AI-Assistantからの推薦はユーザの意思決定に役立つが,AIに対するユーザベースラインのパフォーマンスや,AIエラー型の相補的チューニングといった要因は,チーム全体のパフォーマンスに大きな影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2022-08-16T21:39:58Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Trustworthy AI: A Computational Perspective [54.80482955088197]
  我々は,信頼に値するAIを実現する上で最も重要な6つの要素,(i)安全とロバスト性,(ii)非差別と公正,(iii)説明可能性,(iv)プライバシー,(v)説明可能性と監査性,(vi)環境ウェルビーイングに焦点をあてる。 各次元について、分類学に基づく最近の関連技術について概観し、実世界のシステムにおけるそれらの応用を概説する。
  論文  参考訳（メタデータ） (2021-07-12T14:21:46Z)
• Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance [44.730580857733]
  以前の研究では、AIが人間と最高のチームの両方を上回った場合にのみ、説明による改善が観察された。 我々は、3つのデータセットで混合メソッドのユーザー研究を行い、人間に匹敵する精度のAIが、参加者のタスク解決に役立ちます。 説明は、人間がAIの推奨を受け入れる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-26T03:34:04Z)
• Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
  AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。 我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。 実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
  論文  参考訳（メタデータ） (2020-04-27T19:06:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。