論文の概要: Understanding the Effect of Out-of-distribution Examples and Interactive Explanations on Human-AI Decision Making

• arxiv url: http://arxiv.org/abs/2101.05303v2
• Date: Wed, 27 Jan 2021 19:02:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 08:04:06.632594
• Title: Understanding the Effect of Out-of-distribution Examples and Interactive Explanations on Human-AI Decision Making
• Title（参考訳）: アウト・オブ・ディストリビューション事例と対話的説明がAI意思決定に及ぼす影響の理解
• Authors: Han Liu, Vivian Lai, Chenhao Tan
• Abstract要約: 典型的な実験的なセットアップは、人間-AIチームの可能性を制限します。 インタラクティブな説明を支援する新しいインターフェースを開発し、人間がAI支援に積極的に取り組みます。
• 参考スコア（独自算出の注目度）: 19.157591744997355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although AI holds promise for improving human decision making in societally critical domains, it remains an open question how human-AI teams can reliably outperform AI alone and human alone in challenging prediction tasks (also known as complementary performance). We explore two directions to understand the gaps in achieving complementary performance. First, we argue that the typical experimental setup limits the potential of human-AI teams. To account for lower AI performance out-of-distribution than in-distribution because of distribution shift, we design experiments with different distribution types and investigate human performance for both in-distribution and out-of-distribution examples. Second, we develop novel interfaces to support interactive explanations so that humans can actively engage with AI assistance. Using in-person user study and large-scale randomized experiments across three tasks, we demonstrate a clear difference between in-distribution and out-of-distribution, and observe mixed results for interactive explanations: while interactive explanations improve human perception of AI assistance's usefulness, they may magnify human biases and lead to limited performance improvement. Overall, our work points out critical challenges and future directions towards complementary performance.
• Abstract（参考訳）: AIは、社会的に重要な領域における人間の意思決定を改善するという約束を持っているが、人間とAIのチームが、挑戦的な予測タスク(補完的なパフォーマンスとしても知られる)において、AI単独と人間単独を確実に上回ることができるのかは、未解決の疑問である。 相補的なパフォーマンスを達成する際のギャップを理解するために,2つの方向を探究する。 まず、典型的な実験的なセットアップは、人間とAIチームの可能性を制限します。 分布シフトによる分布変化によるaiアウトオブディストリビューションの低減を考慮し、異なる分布型による実験をデザインし、分布内および分布外事例のヒューマンパフォーマンスについて検討する。 第2に、人間がAI支援に積極的に関与できるように、インタラクティブな説明をサポートする新しいインターフェースを開発する。 3つのタスクにまたがる対人ユーザ研究と大規模ランダム化実験を用いて、分布と分布の差を明確に示し、対話的説明のための混合結果を観察する: 対話的説明はai支援の有用性の人間の知覚を改善するが、それらは人間のバイアスを拡大し、性能改善を限定する可能性がある。 全体として、我々の研究は重要な課題と、補完的なパフォーマンスへの今後の方向性を指摘している。

関連論文リスト

• Let people fail! Exploring the influence of explainable virtual and robotic agents in learning-by-doing tasks [45.23431596135002]
  本研究は,古典的対パートナー意識による説明が学習作業中の人間の行動とパフォーマンスに与える影響を比較検討した。 その結果, パートナー意識による説明は, 関係する人工エージェントの種類によって, 参加者に異なる影響を及ぼした。
  論文  参考訳（メタデータ） (2024-11-15T13:22:04Z)
• Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
  日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。 利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
  論文  参考訳（メタデータ） (2024-10-21T22:39:52Z)
• Human Delegation Behavior in Human-AI Collaboration: The Effect of Contextual Information [7.475784495279183]
  既存の補完機能を活用するための有望なアプローチの1つは、人間が個々の決定タスクのインスタンスをAIに委譲できるようにすることである。 我々は,この委任決定を支援するための文脈情報の提供の効果を検討するために行動学的研究を行う。 これらの結果から,コンテキスト情報へのアクセスは,デリゲート設定における人間-AIチームのパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-01-09T18:59:47Z)
• Human-AI collaboration is not very collaborative yet: A taxonomy of interaction patterns in AI-assisted decision making from a systematic review [6.013543974938446]
  意思決定支援システムにおける人工知能の活用は、技術的進歩に不相応に焦点を合わせてきた。 人間中心の視点は、既存のプロセスとのシームレスな統合のためにAIソリューションを設計することで、この懸念を緩和しようとする。
  論文  参考訳（メタデータ） (2023-10-30T17:46:38Z)
• BO-Muse: A human expert and AI teaming framework for accelerated experimental design [58.61002520273518]
  我々のアルゴリズムは、人間の専門家が実験プロセスでリードすることを可能にする。 我々のアルゴリズムは、AIや人間よりも高速に、サブ線形に収束することを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:56:05Z)
• Learning Complementary Policies for Human-AI Teams [22.13683008398939]
  本稿では,効果的な行動選択のための新しい人間-AI協調のための枠組みを提案する。 私たちのソリューションは、人間とAIの相補性を利用して意思決定報酬を最大化することを目的としています。
  論文  参考訳（メタデータ） (2023-02-06T17:22:18Z)
• Selective Explanations: Leveraging Human Input to Align Explainable AI [40.33998268146951]
  人間の入力を小さなサンプルに利用して選択的な説明を生成するための一般的なフレームワークを提案する。 事例として,意思決定支援タスクを用いて,意思決定者が決定タスクにどう関係するかに基づいて,選択的な説明を探索する。 我々の実験は、AIへの過度な依存を減らすための選択的な説明の可能性を実証している。
  論文  参考訳（メタデータ） (2023-01-23T19:00:02Z)
• Human-AI Collaboration via Conditional Delegation: A Case Study of Content Moderation [47.102566259034326]
  我々は,人間-AI協調のための代替パラダイムとして条件付きデリゲートを提案する。 我々は、条件付きデリゲートルールの作成において、人間を支援する新しいインタフェースを開発する。 本研究は,モデル性能向上における条件付きデリゲートの実現可能性を示す。
  論文  参考訳（メタデータ） (2022-04-25T17:00:02Z)
• Human-Algorithm Collaboration: Achieving Complementarity and Avoiding Unfairness [92.26039686430204]
  慎重に設計されたシステムであっても、補完的な性能はあり得ないことを示す。 まず,簡単な人間アルゴリズムをモデル化するための理論的枠組みを提案する。 次に、このモデルを用いて相補性が不可能な条件を証明する。
  論文  参考訳（メタデータ） (2022-02-17T18:44:41Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。