論文の概要: Evaluation of Human-AI Teams for Learned and Rule-Based Agents in Hanabi

• arxiv url: http://arxiv.org/abs/2107.07630v1
• Date: Thu, 15 Jul 2021 22:19:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-19 14:35:05.091049
• Title: Evaluation of Human-AI Teams for Learned and Rule-Based Agents in Hanabi
• Title（参考訳）: ハナビにおける学習・ルールベースエージェントのためのAIチームの評価
• Authors: Ho Chit Siu, Jaime D. Pena, Kimberlee C. Chang, Edenna Chen, Yutai Zhou, Victor J. Lopez, Kyle Palko, Ross E. Allen
• Abstract要約: 我々は,ルールベースエージェントと学習ベースエージェントの両方を用いて,協力型カードゲームEmphHanabiにおける人間とAIエージェントのチームを評価する。 人間は、最先端の学習ベースのAIチームメイトよりも、ルールベースのAIチームメイトをはっきりと好みます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep reinforcement learning has generated superhuman AI in competitive games such as Go and StarCraft. Can similar learning techniques create a superior AI teammate for human-machine collaborative games? Will humans prefer AI teammates that improve objective team performance or those that improve subjective metrics of trust? In this study, we perform a single-blind evaluation of teams of humans and AI agents in the cooperative card game \emph{Hanabi}, with both rule-based and learning-based agents. In addition to the game score, used as an objective metric of the human-AI team performance, we also quantify subjective measures of the human's perceived performance, teamwork, interpretability, trust, and overall preference of AI teammate. We find that humans have a clear preference toward a rule-based AI teammate (SmartBot) over a state-of-the-art learning-based AI teammate (Other-Play) across nearly all subjective metrics, and generally view the learning-based agent negatively, despite no statistical difference in the game score. This result has implications for future AI design and reinforcement learning benchmarking, highlighting the need to incorporate subjective metrics of human-AI teaming rather than a singular focus on objective task performance.
• Abstract（参考訳）: 深層強化学習は、GoやStarCraftといった競合ゲームで超人的AIを生み出している。 類似の学習技術は、人間と機械の協調ゲームに優れたAIチームメイトを作ることができるか? 人間は、客観的なチームパフォーマンスを改善するAIチームメイトや、主観的な信頼度を改善するものを好むだろうか? 本研究では,協調カードゲーム \emph{hanabi} において,ルールベースと学習ベースの両方のエージェントを用いて,人間とaiエージェントのチームを単一盲検で評価する。 人間-AIチームパフォーマンスの客観的指標として使用されるゲームスコアに加えて、人間の知覚されたパフォーマンス、チームワーク、解釈可能性、信頼、AIチームメイトの全体的な嗜好の主観的尺度を定量化する。 人間はルールベースのaiチームメート(smartbot)に対して、最先端の学習ベースのaiチームメート(other-play)よりも明確な選好を持ち、ゲームスコアに統計的な差はないが、一般的に学習ベースのエージェントを否定的に見る。 この結果は、将来のAI設計と強化学習ベンチマークに影響を及ぼし、客観的タスクのパフォーマンスにのみフォーカスするのではなく、人間とAIのコラボレーションの主観的なメトリクスを取り入れる必要性を強調している。

関連論文リスト

• Reinforcement Learning for High-Level Strategic Control in Tower Defense Games [47.618236610219554]
  戦略ゲームにおいて、ゲームデザインの最も重要な側面の1つは、プレイヤーにとっての挑戦の感覚を維持することである。 従来のスクリプティング手法と強化学習を組み合わせた自動手法を提案する。 その結果、強化学習のような学習アプローチとスクリプトAIを組み合わせることで、AIのみを使用するよりも高性能で堅牢なエージェントが生まれることが示された。
  論文  参考訳（メタデータ） (2024-06-12T08:06:31Z)
• Toward Human-AI Alignment in Large-Scale Multi-Player Games [24.784173202415687]
  我々はXboxのBleeding Edge(100K+ゲーム)から広範囲にわたる人間のゲームプレイデータを解析する。 人間のプレイヤーは、戦闘飛行や探索飛行行動において多様性を示す一方で、AIプレイヤーは均一性に向かう傾向にある。 これらの大きな違いは、ヒューマンアラインアプリケーションにおけるAIの解釈可能な評価、設計、統合の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-02-05T22:55:33Z)
• Enhancing Human Experience in Human-Agent Collaboration: A Human-Centered Modeling Approach Based on Positive Human Gain [18.968232976619912]
  協調型AIエージェントのための「人間中心型」モデリング手法を提案する。 エージェントは、エージェントの本来の能力を維持しながら、人間がこれらの目標を達成する度合いを高めることを学ぶべきである。 マルチプレイヤーオンラインバトルアリーナ(MOBA)ゲーム「Honor of Kings」におけるRLHGエージェントの評価を行った。
  論文  参考訳（メタデータ） (2024-01-28T05:05:57Z)
• DanZero+: Dominating the GuanDan Game through Reinforcement Learning [95.90682269990705]
  我々は、GuanDanという、非常に複雑で人気のあるカードゲームのためのAIプログラムを開発した。 私たちはまず、DanZeroという名のAIプログラムをこのゲームのために提案しました。 AIの能力をさらに強化するために、政策に基づく強化学習アルゴリズムをGuanDanに適用する。
  論文  参考訳（メタデータ） (2023-12-05T08:07:32Z)
• Capturing Humans' Mental Models of AI: An Item Response Theory Approach [12.129622383429597]
  我々は、AIエージェントのパフォーマンスが、他の人間のパフォーマンスよりも平均的にはるかに良いと期待していることを示します。 以上の結果から,AIエージェントの性能は他の人間よりも平均的に有意に向上することが示唆された。
  論文  参考訳（メタデータ） (2023-05-15T23:17:26Z)
• Navigates Like Me: Understanding How People Evaluate Human-Like AI in Video Games [36.96985093527702]
  エージェントとベースラインAIエージェントが生成するナビゲーション行動の人間的類似性を比較したクラウドソースによる数百のアセスメントを収集する。 提案するエージェントはチューリングテストに合格するが,ベースラインエージェントは合格しない。 この研究は、ゴール指向のビデオゲームナビゲーションの文脈において、人間が人間的と考える特性に関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-02T18:59:04Z)
• Human Decision Makings on Curriculum Reinforcement Learning with Difficulty Adjustment [52.07473934146584]
  我々は,カリキュラム強化学習結果を,人的意思決定プロセスから学ぶことで,難しすぎず,難しすぎるような望ましいパフォーマンスレベルに導く。 本システムは非常に並列化可能であり,大規模強化学習アプリケーションの訓練が可能となる。 強化学習性能は、人間の所望の難易度と同期してうまく調整できることが示される。
  論文  参考訳（メタデータ） (2022-08-04T23:53:51Z)
• Collusion Detection in Team-Based Multiplayer Games [57.153233321515984]
  チームベースのマルチプレイヤーゲームにおいて,協調動作を検出するシステムを提案する。 提案手法は,ゲーム内行動パターンと組み合わせたプレイヤーの社会的関係を解析する。 次に,非教師なし学習手法であるアイソレーションフォレストによる検出を自動化する。
  論文  参考訳（メタデータ） (2022-03-10T02:37:39Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
  AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。 我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。 実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
  論文  参考訳（メタデータ） (2020-04-27T19:06:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。