論文の概要: Capturing Humans' Mental Models of AI: An Item Response Theory Approach
- arxiv url: http://arxiv.org/abs/2305.09064v1
- Date: Mon, 15 May 2023 23:17:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 16:52:33.814371
- Title: Capturing Humans' Mental Models of AI: An Item Response Theory Approach
- Title(参考訳): 人間によるAIのメンタルモデルを捉える:項目応答理論のアプローチ
- Authors: Markelle Kelly, Aakriti Kumar, Padhraic Smyth, Mark Steyvers
- Abstract要約: 我々は、AIエージェントのパフォーマンスが、他の人間のパフォーマンスよりも平均的にはるかに良いと期待していることを示します。
以上の結果から,AIエージェントの性能は他の人間よりも平均的に有意に向上することが示唆された。
- 参考スコア(独自算出の注目度): 12.129622383429597
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Improving our understanding of how humans perceive AI teammates is an
important foundation for our general understanding of human-AI teams. Extending
relevant work from cognitive science, we propose a framework based on item
response theory for modeling these perceptions. We apply this framework to
real-world experiments, in which each participant works alongside another
person or an AI agent in a question-answering setting, repeatedly assessing
their teammate's performance. Using this experimental data, we demonstrate the
use of our framework for testing research questions about people's perceptions
of both AI agents and other people. We contrast mental models of AI teammates
with those of human teammates as we characterize the dimensionality of these
mental models, their development over time, and the influence of the
participants' own self-perception. Our results indicate that people expect AI
agents' performance to be significantly better on average than the performance
of other humans, with less variation across different types of problems. We
conclude with a discussion of the implications of these findings for human-AI
interaction.
- Abstract(参考訳): 人間がAIチームメイトをどのように知覚するかの理解を改善することは、人間とAIチームの一般的な理解にとって重要な基礎となります。
認知科学から関連する仕事を拡張し,これらの知覚をモデル化するための項目応答理論に基づく枠組みを提案する。
この枠組みを実世界の実験に適用し、各参加者が質問応答設定で他の人物やAIエージェントと一緒に働き、チームメイトのパフォーマンスを繰り返し評価する。
この実験データを用いて、aiエージェントと他者の両方に対する人々の認識に関する調査質問をテストするためのフレームワークの使用を実証する。
我々は、AIチームメイトのメンタルモデルと人間のチームメイトのメンタルモデルとを対比し、これらのメンタルモデルの次元性、時間の経過とともにの発展、そして参加者の自己受容の影響を特徴付ける。
我々の結果は、AIエージェントのパフォーマンスが他の人間よりも平均的にはるかに良く、さまざまな種類の問題にばらつきが小さいことを示唆している。
これらの知見が人間とAIの相互作用に与える影響について考察した。
関連論文リスト
- On the Perception of Difficulty: Differences between Humans and AI [0.0]
人間とAIの相互作用における主要な課題は、単一のタスクインスタンスに対する人間とAIエージェントの難しさを見積もることである。
人間とAIの相互作用の分野での研究は、人間とAIの認識の難しさを互いに独立して推定する。
これまでの研究は、人間とAIの認識の難しさの違いを十分に検証していない。
論文 参考訳(メタデータ) (2023-04-19T16:42:54Z) - BO-Muse: A human expert and AI teaming framework for accelerated
experimental design [58.61002520273518]
我々のアルゴリズムは、人間の専門家が実験プロセスでリードすることを可能にする。
我々のアルゴリズムは、AIや人間よりも高速に、サブ線形に収束することを示す。
論文 参考訳(メタデータ) (2023-03-03T02:56:05Z) - On the Influence of Explainable AI on Automation Bias [0.0]
我々は、説明可能なAI(XAI)によって自動化バイアスに影響を与える可能性に光を当てることを目指している。
ホテルのレビュー分類に関するオンライン実験を行い、最初の結果について議論する。
論文 参考訳(メタデータ) (2022-04-19T12:54:23Z) - A Mental-Model Centric Landscape of Human-AI Symbiosis [31.14516396625931]
我々は、GHAI(Generalized Human-Aware Interaction)と呼ばれる、ヒューマン・アウェア・AIインタラクション・スキームの極めて一般的なバージョンを導入する。
この新しいフレームワークによって、人間とAIのインタラクションの空間で達成されたさまざまな作業が捕捉され、これらの作業によって支えられる基本的な行動パターンが特定できるかどうかを確認します。
論文 参考訳(メタデータ) (2022-02-18T22:08:08Z) - On some Foundational Aspects of Human-Centered Artificial Intelligence [52.03866242565846]
人間中心人工知能(Human Centered Artificial Intelligence)の意味については明確な定義はない。
本稿では,AIコンポーネントを備えた物理・ソフトウェア計算エージェントを指すHCAIエージェントについて紹介する。
HCAIエージェントの概念は、そのコンポーネントや機能とともに、人間中心のAIに関する技術的および非技術的議論を橋渡しする手段であると考えています。
論文 参考訳(メタデータ) (2021-12-29T09:58:59Z) - A User-Centred Framework for Explainable Artificial Intelligence in
Human-Robot Interaction [70.11080854486953]
本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。
このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
論文 参考訳(メタデータ) (2021-09-27T09:56:23Z) - Do Humans Trust Advice More if it Comes from AI? An Analysis of Human-AI
Interactions [8.785345834486057]
人間は、仲間の人間のグループからの同等の提案に対して、AIの提案をどのように利用するかの特徴付けをする。
特定のタスクにおける人間対AIのパフォーマンスに対する参加者の信念が、アドバイスをハイドするかどうかに影響を及ぼすことがわかった。
論文 参考訳(メタデータ) (2021-07-14T21:33:14Z) - Imitating Interactive Intelligence [24.95842455898523]
仮想環境の簡略化を用いて、人間と自然に相互作用できる人工エージェントの設計方法を検討する。
人間とロバストに相互作用できるエージェントを構築するには、人間と対話しながらトレーニングするのが理想的です。
我々は,人間とエージェントエージェントの対話行動の相違を低減するために,逆強化学習の考え方を用いる。
論文 参考訳(メタデータ) (2020-12-10T13:55:47Z) - Watch-And-Help: A Challenge for Social Perception and Human-AI
Collaboration [116.28433607265573]
我々は、AIエージェントでソーシャルインテリジェンスをテストするための課題であるWatch-And-Help(WAH)を紹介する。
WAHでは、AIエージェントは、人間のようなエージェントが複雑な家庭用タスクを効率的に実行するのを助ける必要がある。
マルチエージェントの家庭環境であるVirtualHome-Socialを構築し、計画と学習ベースのベースラインを含むベンチマークを提供する。
論文 参考訳(メタデータ) (2020-10-19T21:48:31Z) - Joint Mind Modeling for Explanation Generation in Complex Human-Robot
Collaborative Tasks [83.37025218216888]
本稿では,人間とロボットのコラボレーションにおいて,人間のようなコミュニケーションを実現するための新しい説明可能なAI(XAI)フレームワークを提案する。
ロボットは、人間のユーザの階層的なマインドモデルを構築し、コミュニケーションの一形態として自身のマインドの説明を生成する。
その結果,提案手法はロボットの協調動作性能とユーザ認識を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2020-07-24T23:35:03Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳(メタデータ) (2020-04-27T19:06:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。