論文の概要: Human-AI Collaborative Game Testing with Vision Language Models
- arxiv url: http://arxiv.org/abs/2501.11782v1
- Date: Mon, 20 Jan 2025 23:14:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:21:10.182695
- Title: Human-AI Collaborative Game Testing with Vision Language Models
- Title（参考訳）: ビジョン言語モデルを用いたAI協調型ゲームテスト
- Authors: Boran Zhang, Muhan Xu, Zhijun Pan,
- Abstract要約: 本研究では,AI支援ワークフローの開発と実験により,AIがゲームテストを改善する方法について検討する。
我々は、AIサポートの有無、欠陥や設計資料の詳細な知識の有無の4つの条件下で、AIアシストの有効性を評価する。
その結果、特に詳細な知識と組み合わせた場合、AIアシストは欠陥識別性能を著しく改善することが示された。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: As modern video games become increasingly complex, traditional manual testing methods are proving costly and inefficient, limiting the ability to ensure high-quality game experiences. While advancements in Artificial Intelligence (AI) offer the potential to assist human testers, the effectiveness of AI in truly enhancing real-world human performance remains underexplored. This study investigates how AI can improve game testing by developing and experimenting with an AI-assisted workflow that leverages state-of-the-art machine learning models for defect detection. Through an experiment involving 800 test cases and 276 participants of varying backgrounds, we evaluate the effectiveness of AI assistance under four conditions: with or without AI support, and with or without detailed knowledge of defects and design documentation. The results indicate that AI assistance significantly improves defect identification performance, particularly when paired with detailed knowledge. However, challenges arise when AI errors occur, negatively impacting human decision-making. Our findings show the importance of optimizing human-AI collaboration and implementing strategies to mitigate the effects of AI inaccuracies. By this research, we demonstrate AI's potential and problems in enhancing efficiency and accuracy in game testing workflows and offers practical insights for integrating AI into the testing process.
- Abstract（参考訳）: 現代のビデオゲームがますます複雑化するにつれ、従来の手動テスト手法はコストと非効率性を証明し、高品質なゲーム体験を確保する能力を制限している。
人工知能(AI)の進歩は、人間のテスターを支援する可能性を秘めているが、現実の人間のパフォーマンスを真に向上するAIの有効性は、まだ解明されていない。
本研究では、最先端の機械学習モデルを利用して欠陥検出を行うAI支援ワークフローの開発と実験により、AIがゲームテストを改善する方法について検討する。
さまざまな背景を持つ800のテストケースと276人の参加者による実験を通じて、AIサポートの有無、欠陥や設計資料の詳細な知識の有無の4つの条件の下で、AIアシストの有効性を評価する。
その結果,AI支援は,特に詳細な知識と組み合わせることで,欠陥識別性能を著しく向上させることがわかった。
しかし、AIエラーが発生したときの課題は、人間の意思決定に悪影響を及ぼす。
この結果から,人間とAIのコラボレーションを最適化し,AIの不正確さを緩和するための戦略を実践することの重要性が示唆された。
本研究は,ゲームテストワークフローの効率性と精度向上におけるAIの可能性と問題点を実証し,AIをテストプロセスに統合するための実践的な洞察を提供する。
関連論文リスト
- Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。
利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
論文 参考訳（メタデータ） (2024-10-21T22:39:52Z) - Comparing Zealous and Restrained AI Recommendations in a Real-World Human-AI Collaboration Task [11.040918613968854]
正確さとリコールのトレードオフを慎重に活用することで、チームのパフォーマンスが大幅に向上する、と私たちは主張する。
我々は、a)AIアシストなし、b)高精度な「制限された」AI、c)3,466時間以上のアノテーション作業で、78のプロのアノテータのパフォーマンスを分析する。
論文 参考訳（メタデータ） (2024-10-06T23:19:19Z) - The Impact of Imperfect XAI on Human-AI Decision-Making [8.305869611846775]
鳥種識別作業において,誤った説明が人間の意思決定行動にどのように影響するかを評価する。
この結果から,AIと人間-AIチームパフォーマンスへの不完全なXAIと,人間の専門知識レベルの影響が明らかになった。
論文 参考訳（メタデータ） (2023-07-25T15:19:36Z) - Human-AI Collaboration: The Effect of AI Delegation on Human Task
Performance and Task Satisfaction [0.0]
タスク性能とタスク満足度はAIデリゲートによって向上することを示す。
我々は、これらの改善の基盤となるメカニズムとして、人間による自己効力の増大を見いだした。
我々の発見は、AIモデルがより多くの管理責任を引き継ぐことが、人間とAIのコラボレーションの効果的な形態であることを示す最初の証拠を提供する。
論文 参考訳（メタデータ） (2023-03-16T11:02:46Z) - BO-Muse: A human expert and AI teaming framework for accelerated
experimental design [58.61002520273518]
我々のアルゴリズムは、人間の専門家が実験プロセスでリードすることを可能にする。
我々のアルゴリズムは、AIや人間よりも高速に、サブ線形に収束することを示す。
論文 参考訳（メタデータ） (2023-03-03T02:56:05Z) - Improving Human-AI Collaboration With Descriptions of AI Behavior [14.904401331154062]
人々はAIシステムを使って意思決定を改善するが、しばしばAIの予測を過度に、あるいは過度に予測し、手伝わなかったよりも悪いパフォーマンスをする。
人々がAIアシスタントを適切に頼りにするために、行動記述を示すことを提案する。
論文 参考訳（メタデータ） (2023-01-06T00:33:08Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳（メタデータ） (2022-12-08T23:23:39Z) - Advancing Human-AI Complementarity: The Impact of User Expertise and
Algorithmic Tuning on Joint Decision Making [10.890854857970488]
ユーザのドメイン知識、AIシステムのメンタルモデル、レコメンデーションへの信頼など、多くの要因がヒューマンAIチームの成功に影響を与える可能性がある。
本研究は,非自明な血管ラベル作成作業において,血管が流れているか停止しているかを被験者に示すことを目的とした。
以上の結果から,AI-Assistantからの推薦はユーザの意思決定に役立つが,AIに対するユーザベースラインのパフォーマンスや,AIエラー型の相補的チューニングといった要因は,チーム全体のパフォーマンスに大きな影響を及ぼすことが示された。
論文 参考訳（メタデータ） (2022-08-16T21:39:58Z) - Human Decision Makings on Curriculum Reinforcement Learning with
Difficulty Adjustment [52.07473934146584]
我々は,カリキュラム強化学習結果を,人的意思決定プロセスから学ぶことで,難しすぎず,難しすぎるような望ましいパフォーマンスレベルに導く。
本システムは非常に並列化可能であり,大規模強化学習アプリケーションの訓練が可能となる。
強化学習性能は、人間の所望の難易度と同期してうまく調整できることが示される。
論文 参考訳（メタデータ） (2022-08-04T23:53:51Z) - Is the Most Accurate AI the Best Teammate? Optimizing AI for Teamwork [54.309495231017344]
AIシステムは人間中心の方法でトレーニングされ、チームのパフォーマンスに直接最適化されるべきである、と私たちは主張する。
我々は,AIレコメンデーションを受け入れるか,あるいはタスク自体を解決するかを選択する,特定のタイプのAIチームを提案する。
実世界の高精度データセット上での線形モデルと非線形モデルによる実験は、AIが最も正確であることは、最高のチームパフォーマンスに繋がらないことを示している。
論文 参考訳（メタデータ） (2020-04-27T19:06:28Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳（メタデータ） (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。