論文の概要: Understanding the Effect of Out-of-distribution Examples and Interactive
Explanations on Human-AI Decision Making
- arxiv url: http://arxiv.org/abs/2101.05303v2
- Date: Wed, 27 Jan 2021 19:02:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 08:04:06.632594
- Title: Understanding the Effect of Out-of-distribution Examples and Interactive
Explanations on Human-AI Decision Making
- Title(参考訳): アウト・オブ・ディストリビューション事例と対話的説明がAI意思決定に及ぼす影響の理解
- Authors: Han Liu, Vivian Lai, Chenhao Tan
- Abstract要約: 典型的な実験的なセットアップは、人間-AIチームの可能性を制限します。
インタラクティブな説明を支援する新しいインターフェースを開発し、人間がAI支援に積極的に取り組みます。
- 参考スコア(独自算出の注目度): 19.157591744997355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although AI holds promise for improving human decision making in societally
critical domains, it remains an open question how human-AI teams can reliably
outperform AI alone and human alone in challenging prediction tasks (also known
as complementary performance). We explore two directions to understand the gaps
in achieving complementary performance. First, we argue that the typical
experimental setup limits the potential of human-AI teams. To account for lower
AI performance out-of-distribution than in-distribution because of distribution
shift, we design experiments with different distribution types and investigate
human performance for both in-distribution and out-of-distribution examples.
Second, we develop novel interfaces to support interactive explanations so that
humans can actively engage with AI assistance. Using in-person user study and
large-scale randomized experiments across three tasks, we demonstrate a clear
difference between in-distribution and out-of-distribution, and observe mixed
results for interactive explanations: while interactive explanations improve
human perception of AI assistance's usefulness, they may magnify human biases
and lead to limited performance improvement. Overall, our work points out
critical challenges and future directions towards complementary performance.
- Abstract(参考訳): AIは、社会的に重要な領域における人間の意思決定を改善するという約束を持っているが、人間とAIのチームが、挑戦的な予測タスク(補完的なパフォーマンスとしても知られる)において、AI単独と人間単独を確実に上回ることができるのかは、未解決の疑問である。
相補的なパフォーマンスを達成する際のギャップを理解するために,2つの方向を探究する。
まず、典型的な実験的なセットアップは、人間とAIチームの可能性を制限します。
分布シフトによる分布変化によるaiアウトオブディストリビューションの低減を考慮し、異なる分布型による実験をデザインし、分布内および分布外事例のヒューマンパフォーマンスについて検討する。
第2に、人間がAI支援に積極的に関与できるように、インタラクティブな説明をサポートする新しいインターフェースを開発する。
3つのタスクにまたがる対人ユーザ研究と大規模ランダム化実験を用いて、分布と分布の差を明確に示し、対話的説明のための混合結果を観察する: 対話的説明はai支援の有用性の人間の知覚を改善するが、それらは人間のバイアスを拡大し、性能改善を限定する可能性がある。
全体として、我々の研究は重要な課題と、補完的なパフォーマンスへの今後の方向性を指摘している。
関連論文リスト
- On the Effect of Contextual Information on Human Delegation Behavior in
Human-AI collaboration [3.9253315480927964]
我々は、AIにインスタンスを委譲するために、人間の意思決定に文脈情報を提供することの効果について検討する。
参加者にコンテキスト情報を提供することで,人間-AIチームのパフォーマンスが大幅に向上することがわかった。
本研究は,人間代表団における人間とAIの相互作用の理解を深め,より効果的な協調システムを設計するための実用的な洞察を提供する。
論文 参考訳(メタデータ) (2024-01-09T18:59:47Z) - Designing AI Support for Human Involvement in AI-assisted Decision
Making: A Taxonomy of Human-AI Interactions from a Systematic Review [6.013543974938446]
我々は、人間とAIの相互作用の様々なモードを規定する相互作用パターンの分類法を導入する。
現在のインタラクションは、単純化されたコラボレーションパラダイムによって支配され、真にインタラクティブな機能に対する比較的少ないサポートを報告します。
論文 参考訳(メタデータ) (2023-10-30T17:46:38Z) - Neural Amortized Inference for Nested Multi-agent Reasoning [54.39127942041582]
本研究では,人間のような推論能力と計算限界のギャップを埋める新しい手法を提案する。
提案手法を2つの挑戦的マルチエージェント相互作用領域で評価する。
論文 参考訳(メタデータ) (2023-08-21T22:40:36Z) - Improving Grounded Language Understanding in a Collaborative Environment
by Interacting with Agents Through Help Feedback [42.19685958922537]
我々は、人間とAIのコラボレーションは対話的であり、人間がAIエージェントの作業を監視し、エージェントが理解し活用できるフィードバックを提供するべきだと論じている。
本研究では, IGLUコンペティションによって定義された課題である, マイニングクラフトのような世界における対話型言語理解タスクを用いて, これらの方向を探索する。
論文 参考訳(メタデータ) (2023-04-21T05:37:59Z) - BO-Muse: A human expert and AI teaming framework for accelerated
experimental design [58.61002520273518]
我々のアルゴリズムは、人間の専門家が実験プロセスでリードすることを可能にする。
我々のアルゴリズムは、AIや人間よりも高速に、サブ線形に収束することを示す。
論文 参考訳(メタデータ) (2023-03-03T02:56:05Z) - Learning Complementary Policies for Human-AI Teams [22.13683008398939]
本稿では,効果的な行動選択のための新しい人間-AI協調のための枠組みを提案する。
私たちのソリューションは、人間とAIの相補性を利用して意思決定報酬を最大化することを目的としています。
論文 参考訳(メタデータ) (2023-02-06T17:22:18Z) - Selective Explanations: Leveraging Human Input to Align Explainable AI [40.33998268146951]
人間の入力を小さなサンプルに利用して選択的な説明を生成するための一般的なフレームワークを提案する。
事例として,意思決定支援タスクを用いて,意思決定者が決定タスクにどう関係するかに基づいて,選択的な説明を探索する。
我々の実験は、AIへの過度な依存を減らすための選択的な説明の可能性を実証している。
論文 参考訳(メタデータ) (2023-01-23T19:00:02Z) - Human Decision Makings on Curriculum Reinforcement Learning with
Difficulty Adjustment [52.07473934146584]
我々は,カリキュラム強化学習結果を,人的意思決定プロセスから学ぶことで,難しすぎず,難しすぎるような望ましいパフォーマンスレベルに導く。
本システムは非常に並列化可能であり,大規模強化学習アプリケーションの訓練が可能となる。
強化学習性能は、人間の所望の難易度と同期してうまく調整できることが示される。
論文 参考訳(メタデータ) (2022-08-04T23:53:51Z) - Human-AI Collaboration via Conditional Delegation: A Case Study of
Content Moderation [47.102566259034326]
我々は,人間-AI協調のための代替パラダイムとして条件付きデリゲートを提案する。
我々は、条件付きデリゲートルールの作成において、人間を支援する新しいインタフェースを開発する。
本研究は,モデル性能向上における条件付きデリゲートの実現可能性を示す。
論文 参考訳(メタデータ) (2022-04-25T17:00:02Z) - Human-Algorithm Collaboration: Achieving Complementarity and Avoiding
Unfairness [92.26039686430204]
慎重に設計されたシステムであっても、補完的な性能はあり得ないことを示す。
まず,簡単な人間アルゴリズムをモデル化するための理論的枠組みを提案する。
次に、このモデルを用いて相補性が不可能な条件を証明する。
論文 参考訳(メタデータ) (2022-02-17T18:44:41Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳(メタデータ) (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。