論文の概要: Leveraging Large Language Models for Efficient Failure Analysis in Game Development

• arxiv url: http://arxiv.org/abs/2406.07084v1
• Date: Tue, 11 Jun 2024 09:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-12 16:44:39.016471
• Title: Leveraging Large Language Models for Efficient Failure Analysis in Game Development
• Title（参考訳）: ゲーム開発における失敗解析のための大規模言語モデルの活用
• Authors: Leonardo Marini, Linus Gisslén, Alessandro Sestini,
• Abstract要約: 本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。 このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。 当社のアプローチは新たに作成したデータセットで71%の精度に達しています。
• 参考スコア（独自算出の注目度）: 47.618236610219554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In games, and more generally in the field of software development, early detection of bugs is vital to maintain a high quality of the final product. Automated tests are a powerful tool that can catch a problem earlier in development by executing periodically. As an example, when new code is submitted to the code base, a new automated test verifies these changes. However, identifying the specific change responsible for a test failure becomes harder when dealing with batches of changes -- especially in the case of a large-scale project such as a AAA game, where thousands of people contribute to a single code base. This paper proposes a new approach to automatically identify which change in the code caused a test to fail. The method leverages Large Language Models (LLMs) to associate error messages with the corresponding code changes causing the failure. We investigate the effectiveness of our approach with quantitative and qualitative evaluations. Our approach reaches an accuracy of 71% in our newly created dataset, which comprises issues reported by developers at EA over a period of one year. We further evaluated our model through a user study to assess the utility and usability of the tool from a developer perspective, resulting in a significant reduction in time -- up to 60% -- spent investigating issues.
• Abstract（参考訳）: ゲーム、特にソフトウェア開発の分野では、バグの早期発見が最終製品の品質を維持する上で不可欠です。 自動テストは、定期的に実行することで、開発の早い段階で問題に対処できる強力なツールです。 例えば、新しいコードがコードベースに提出されると、新しい自動テストがこれらの変更を検証する。 しかし、テストの失敗の原因となる特定の変更を特定することは、変更のバッチを扱う場合、特にAAAゲームのような大規模なプロジェクトでは、何千人もの人々が単一のコードベースに貢献する場合には、難しくなります。 本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。 このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。 定量的および定性的な評価によるアプローチの有効性について検討する。 当社のアプローチは新たに作成したデータセットで71%の精度に達しています。 当社は、開発者の観点からツールの有用性とユーザビリティを評価するために、ユーザスタディを通じてモデルをさらに評価し、その結果、問題の調査に費やした時間(最大60%)を大幅に削減しました。

関連論文リスト

• From Code Generation to Software Testing: AI Copilot with Context-Based RAG [8.28588489551341]
  本稿では,2つの相互接続問題として,バグ検出と少ないバグでコーディングを行うことにより,ソフトウェアテストの新たな視点を提案する。 我々は、バグ検出と更新を同期する自動テストシステムであるCopilot for Testingを紹介した。 評価の結果,バグ検出精度が31.2%向上し,テストカバレッジが12.6%向上し,ユーザ受け入れ率が10.5%向上した。
  論文  参考訳（メタデータ） (2025-04-02T16:20:05Z)
• Unveiling Pitfalls: Understanding Why AI-driven Code Agents Fail at GitHub Issue Resolution [22.03052751722933]
  問題解決フェーズにおけるPythonの実行エラーは、低解像度率と推論オーバーヘッドの増加と相関している。 私たちは、ModuleNotFoundErrorやTypeErrorのような最も一般的なエラーを特定し、OSErrorやデータベース関連の問題のような特に困難なエラーを強調しました。
  論文  参考訳（メタデータ） (2025-03-16T06:24:51Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• Focused-DPO: Enhancing Code Generation Through Focused Preference Optimization on Error-Prone Points [51.40935517552926]
  Focused-DPOは、優先度最適化を重要なエラー発生箇所に向けることで、コード生成を強化するフレームワークである。 エラーを起こしやすい点に焦点を当てることで、Focused-DPOはモデル生成コードの正確性と機能を向上させる。
  論文  参考訳（メタデータ） (2025-02-17T06:16:02Z)
• Cracks in The Stack: Hidden Vulnerabilities and Licensing Risks in LLM Pre-Training Datasets [5.0091559832205155]
  トレーニングデータの質を向上させるために,自動ソースコード自動計算手法を提案する。 Stack v2データセットを用いてこの手法を評価し,データセットのコードバージョンのうち17%に新しいバージョンがあることを確認した。 私たちは、AIツールが生成する出力の信頼性を高める可能性があり、自動データキュレーションのプロセス改善に刺激を与えることを期待しています。
  論文  参考訳（メタデータ） (2025-01-05T18:54:25Z)
• REDO: Execution-Free Runtime Error Detection for COding Agents [3.9903610503301072]
  Execution-free Error Detection for Coding Agents (REDO)は、実行時のエラーと静的解析ツールを統合する方法である。 我々はREDOが11.0%の精度と9.1%の重み付きF1スコアを達成し、最先端の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-10-10T18:06:29Z)
• Chain of Targeted Verification Questions to Improve the Reliability of Code Generated by LLMs [10.510325069289324]
  LLMが生成するコードの信頼性向上を目的とした自己補充手法を提案する。 当社のアプローチは,初期コード内の潜在的なバグを特定するために,対象とする検証質問(VQ)に基づいています。 本手法は,LLMをターゲットとするVQと初期コードで再プロンプトすることで,潜在的なバグの修復を試みる。
  論文  参考訳（メタデータ） (2024-05-22T19:02:50Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 我々は、ReasonEvalが人間のラベル付きデータセット上で最先端のパフォーマンスを達成することを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)
• Automated Test Case Repair Using Language Models [0.5708902722746041]
  欠陥のないテストケースは、テストスイートの品質を低下させ、ソフトウェア開発プロセスを破壊します。 テストケースの自動修復に事前訓練されたコード言語モデルを活用する新しいアプローチであるTaRGetを提案する。 TaRGetは、テスト修復を言語翻訳タスクとして扱い、言語モデルを微調整するために2段階のプロセスを使用する。
  論文  参考訳（メタデータ） (2024-01-12T18:56:57Z)
• Teaching Large Language Models to Self-Debug [62.424077000154945]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:43:43Z)
• SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video Games Using Risk Based Testing and Machine Learning [62.997667081978825]
  従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。 自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。 この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
  論文  参考訳（メタデータ） (2022-03-10T00:47:46Z)
• Early Detection of Security-Relevant Bug Reports using Machine Learning: How Far Are We? [6.438136820117887]
  典型的なメンテナンスシナリオでは、セキュリティ関連バグレポートは、修正パッチを作成する際に開発チームによって優先される。 オープンなセキュリティ関連バグレポートは、攻撃者がゼロデイ攻撃を実行するために活用できる機密情報の重大な漏洩になる可能性がある。 近年,機械学習に基づくセキュリティ関連バグレポートの検出手法が,有望な性能で報告されている。
  論文  参考訳（メタデータ） (2021-12-19T11:30:29Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Reinforcement Learning for Test Case Prioritization [0.24366811507669126]
  本稿では,強化学習をテスト戦略に応用する最近の研究について述べる。 我々は、金融機関から抽出された新たなデータに基づいて、新しい環境に適応する能力をテストする。 また,記憶表現のモデルとして決定木(DT)近似器を用いた影響についても検討した。
  論文  参考訳（メタデータ） (2020-12-18T11:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。