論文の概要: SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video Games Using Risk Based Testing and Machine Learning

• arxiv url: http://arxiv.org/abs/2203.05566v2
• Date: Wed, 28 Jun 2023 16:35:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 18:49:41.065708
• Title: SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video Games Using Risk Based Testing and Machine Learning
• Title（参考訳）: SUPERNOVA:リスクベーステストと機械学習を用いたAAAゲームにおけるテスト選択と欠陥防止の自動化
• Authors: Alexander Senchenko, Naomi Patterson, Hamman Samuel, Dan Isper
• Abstract要約: 従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。 自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。 この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Testing video games is an increasingly difficult task as traditional methods fail to scale with growing software systems. Manual testing is a very labor-intensive process, and therefore quickly becomes cost prohibitive. Using scripts for automated testing is affordable, however scripts are ineffective in non-deterministic environments, and knowing when to run each test is another problem altogether. The modern game's complexity, scope, and player expectations are rapidly increasing where quality control is a big portion of the production cost and delivery risk. Reducing this risk and making production happen is a big challenge for the industry currently. To keep production costs realistic up-to and after release, we are focusing on preventive quality assurance tactics alongside testing and data analysis automation. We present SUPERNOVA (Selection of tests and Universal defect Prevention in External Repositories for Novel Objective Verification of software Anomalies), a system responsible for test selection and defect prevention while also functioning as an automation hub. By integrating data analysis functionality with machine and deep learning capability, SUPERNOVA assists quality assurance testers in finding bugs and developers in reducing defects, which improves stability during the production cycle and keeps testing costs under control. The direct impact of this has been observed to be a reduction in 55% or more testing hours for an undisclosed sports game title that has shipped, which was using these test selection optimizations. Furthermore, using risk scores generated by a semi-supervised machine learning model, we are able to detect with 71% precision and 77% recall the probability of a change-list being bug inducing, and provide a detailed breakdown of this inference to developers. These efforts improve workflow and reduce testing hours required on game titles in development.
• Abstract（参考訳）: 従来の手法がソフトウェアシステムの成長とともにスケールできないため、ビデオゲームのテストはますます難しくなっている。 手動テストは非常に労働集約的なプロセスなので、すぐにコスト禁止になります。 自動テストにスクリプトを使用するのは手頃な価格だが、非決定的な環境ではスクリプトが有効ではない。 現代のゲームの複雑さ、スコープ、プレイヤーの期待は、品質管理が生産コストと納入リスクの大きな部分を占めるように急速に増大している。 このリスクを低減し、生産を実現することは、現在業界にとって大きな課題です。 生産コストを前後的に現実的なものにするため、テストやデータ分析の自動化と並行して、予防的な品質保証戦略に重点を置いています。 本稿では,自動ハブとして機能しながら,テスト選択と欠陥防止を行うシステムであるSUPERNOVA(Selection of Testing and Universal defect Prevention in external Repositories for Novel Objective Verification of Software Anomalies)を提案する。 データ分析機能と機械学習機能を統合することで、SUPERNOVAは品質保証テスタのバグ発見と欠陥の低減を支援し、プロダクションサイクルの安定性を改善し、テストコストをコントロールできる。 この直接的な影響は、これらのテスト選択最適化を使用して出荷された未公開のスポーツゲームタイトルのテスト時間を55%以上削減することが観察されている。 さらに、半教師付き機械学習モデルによって生成されたリスクスコアを用いて、71%の精度で検出でき、77%がバグを誘発する変更リストの確率を思い出すことができ、この推論の詳細な説明を開発者に提供できる。 これらの取り組みはワークフローを改善し、開発中のゲームタイトルに必要なテスト時間を削減する。

関連論文リスト

• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• The Future of Software Testing: AI-Powered Test Case Generation and Validation [0.0]
  本稿では、テストケースの生成と検証を改善する上で、AIが持つ変革の可能性について考察する。 テストプロセスの効率性、正確性、スケーラビリティを高める能力に重点を置いている。 また、高品質なトレーニングデータの必要性など、テストにAIを適用する際の重要な課題にも対処している。
  論文  参考訳（メタデータ） (2024-09-09T17:12:40Z)
• Leveraging Large Language Models for Efficient Failure Analysis in Game Development [47.618236610219554]
  本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。 このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。 当社のアプローチは新たに作成したデータセットで71%の精度に達しています。
  論文  参考訳（メタデータ） (2024-06-11T09:21:50Z)
• Automated Test Case Repair Using Language Models [0.5708902722746041]
  欠陥のないテストケースは、テストスイートの品質を低下させ、ソフトウェア開発プロセスを破壊します。 テストケースの自動修復に事前訓練されたコード言語モデルを活用する新しいアプローチであるTaRGetを提案する。 TaRGetは、テスト修復を言語翻訳タスクとして扱い、言語モデルを微調整するために2段階のプロセスを使用する。
  論文  参考訳（メタデータ） (2024-01-12T18:56:57Z)
• Identifying the Risks of LM Agents with an LM-Emulated Sandbox [68.26587052548287]
  言語モデル(LM)エージェントとツールは、豊富な機能セットを可能にすると同時に、潜在的なリスクを増幅する。 これらのエージェントを高いコストでテストすることは、高いリスクと長い尾のリスクを見つけるのをますます困難にします。 ツール実行をエミュレートするためにLMを使用し、さまざまなツールやシナリオに対してLMエージェントのテストを可能にするフレームワークであるToolEmuを紹介します。
  論文  参考訳（メタデータ） (2023-09-25T17:08:02Z)
• Technical Challenges of Deploying Reinforcement Learning Agents for Game Testing in AAA Games [58.720142291102135]
  本稿では,既存の自動ゲームテストソリューションに,スクリプト型ボットをベースとして,実験的な強化学習システムを追加する取り組みについて述べる。 ゲーム制作において強化学習を活用するためのユースケースを示し、ゲームのために同じ旅をしたいと思う人なら誰でも遭遇する最大の時間をカバーしています。 我々は、機械学習、特にゲーム生産において効果的なツールである強化学習を作るのに価値があり、必要であると考えるいくつかの研究指針を提案する。
  論文  参考訳（メタデータ） (2023-07-19T18:19:23Z)
• Distribution Awareness for AI System Testing [0.0]
  基礎となるDLシステムタスクに関連する新たな未確認テストケースを生成することを目的とした,新しいOOD誘導テスト手法を提案する。 以上の結果から,CIFAR-10では55.44%の誤差試験をフィルタでき,ロバスト性向上に10.05%有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-06T09:24:06Z)
• Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
  SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。 ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
  論文  参考訳（メタデータ） (2021-03-08T10:56:38Z)
• Reinforcement Learning for Test Case Prioritization [0.24366811507669126]
  本稿では,強化学習をテスト戦略に応用する最近の研究について述べる。 我々は、金融機関から抽出された新たなデータに基づいて、新しい環境に適応する能力をテストする。 また,記憶表現のモデルとして決定木(DT)近似器を用いた影響についても検討した。
  論文  参考訳（メタデータ） (2020-12-18T11:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。