論文の概要: Leveraging Large Language Models for Efficient Failure Analysis in Game Development

• arxiv url: http://arxiv.org/abs/2406.07084v1
• Date: Tue, 11 Jun 2024 09:21:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 16:44:39.016471
• Title: Leveraging Large Language Models for Efficient Failure Analysis in Game Development
• Title（参考訳）: ゲーム開発における失敗解析のための大規模言語モデルの活用
• Authors: Leonardo Marini, Linus Gisslén, Alessandro Sestini,
• Abstract要約: 本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。 このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。 当社のアプローチは新たに作成したデータセットで71%の精度に達しています。
• 参考スコア（独自算出の注目度）: 47.618236610219554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In games, and more generally in the field of software development, early detection of bugs is vital to maintain a high quality of the final product. Automated tests are a powerful tool that can catch a problem earlier in development by executing periodically. As an example, when new code is submitted to the code base, a new automated test verifies these changes. However, identifying the specific change responsible for a test failure becomes harder when dealing with batches of changes -- especially in the case of a large-scale project such as a AAA game, where thousands of people contribute to a single code base. This paper proposes a new approach to automatically identify which change in the code caused a test to fail. The method leverages Large Language Models (LLMs) to associate error messages with the corresponding code changes causing the failure. We investigate the effectiveness of our approach with quantitative and qualitative evaluations. Our approach reaches an accuracy of 71% in our newly created dataset, which comprises issues reported by developers at EA over a period of one year. We further evaluated our model through a user study to assess the utility and usability of the tool from a developer perspective, resulting in a significant reduction in time -- up to 60% -- spent investigating issues.
• Abstract（参考訳）: ゲーム、特にソフトウェア開発の分野では、バグの早期発見が最終製品の品質を維持する上で不可欠です。 自動テストは、定期的に実行することで、開発の早い段階で問題に対処できる強力なツールです。 例えば、新しいコードがコードベースに提出されると、新しい自動テストがこれらの変更を検証する。 しかし、テストの失敗の原因となる特定の変更を特定することは、変更のバッチを扱う場合、特にAAAゲームのような大規模なプロジェクトでは、何千人もの人々が単一のコードベースに貢献する場合には、難しくなります。 本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。 このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。 定量的および定性的な評価によるアプローチの有効性について検討する。 当社のアプローチは新たに作成したデータセットで71%の精度に達しています。 当社は、開発者の観点からツールの有用性とユーザビリティを評価するために、ユーザスタディを通じてモデルをさらに評価し、その結果、問題の調査に費やした時間(最大60%)を大幅に削減しました。

関連論文リスト

• REDO: Execution-Free Runtime Error Detection for COding Agents [3.9903610503301072]
  Execution-free Error Detection for Coding Agents (REDO)は、実行時のエラーと静的解析ツールを統合する方法である。 我々はREDOが11.0%の精度と9.1%の重み付きF1スコアを達成し、最先端の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-10-10T18:06:29Z)
• Chain of Targeted Verification Questions to Improve the Reliability of Code Generated by LLMs [10.510325069289324]
  LLMが生成するコードの信頼性向上を目的とした自己補充手法を提案する。 当社のアプローチは,初期コード内の潜在的なバグを特定するために,対象とする検証質問(VQ)に基づいています。 本手法は,LLMをターゲットとするVQと初期コードで再プロンプトすることで,潜在的なバグの修復を試みる。
  論文  参考訳（メタデータ） (2024-05-22T19:02:50Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 我々は、ReasonEvalが人間のラベル付きデータセット上で最先端のパフォーマンスを達成することを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)
• Automated Test Case Repair Using Language Models [0.5708902722746041]
  欠陥のないテストケースは、テストスイートの品質を低下させ、ソフトウェア開発プロセスを破壊します。 テストケースの自動修復に事前訓練されたコード言語モデルを活用する新しいアプローチであるTaRGetを提案する。 TaRGetは、テスト修復を言語翻訳タスクとして扱い、言語モデルを微調整するために2段階のプロセスを使用する。
  論文  参考訳（メタデータ） (2024-01-12T18:56:57Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video Games Using Risk Based Testing and Machine Learning [62.997667081978825]
  従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。 自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。 この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
  論文  参考訳（メタデータ） (2022-03-10T00:47:46Z)
• Early Detection of Security-Relevant Bug Reports using Machine Learning: How Far Are We? [6.438136820117887]
  典型的なメンテナンスシナリオでは、セキュリティ関連バグレポートは、修正パッチを作成する際に開発チームによって優先される。 オープンなセキュリティ関連バグレポートは、攻撃者がゼロデイ攻撃を実行するために活用できる機密情報の重大な漏洩になる可能性がある。 近年,機械学習に基づくセキュリティ関連バグレポートの検出手法が,有望な性能で報告されている。
  論文  参考訳（メタデータ） (2021-12-19T11:30:29Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Reinforcement Learning for Test Case Prioritization [0.24366811507669126]
  本稿では,強化学習をテスト戦略に応用する最近の研究について述べる。 我々は、金融機関から抽出された新たなデータに基づいて、新しい環境に適応する能力をテストする。 また,記憶表現のモデルとして決定木(DT)近似器を用いた影響についても検討した。
  論文  参考訳（メタデータ） (2020-12-18T11:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。