論文の概要: GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers
- arxiv url: http://arxiv.org/abs/2604.02648v1
- Date: Fri, 03 Apr 2026 02:23:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 17:20:24.281958
- Title: GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers
- Title（参考訳）: GBQA:LLMを品質保証技術者として評価するためのゲームベンチマーク
- Abstract要約: 我々は,大規模言語モデルがソフトウェアバグを自律的に検出できるかどうかを評価するために,ゲーム品質保証ベンチマーク(GBQA)を導入する。
このベンチマークは、ゲームを開発し、スケーラブルな方法でバグを注入するマルチエージェントシステムを使用して構築されている。
実験では、最良のパフォーマンスモデルであるClaude-4.6-Opusが、検証されたバグの48.39%しか特定していない。
- 参考スコア（独自算出の注目度）: 1.6086198362375759
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The autonomous discovery of bugs remains a significant challenge in modern software development. Compared to code generation, the complexity of dynamic runtime environments makes bug discovery considerably harder for large language models (LLMs). In this paper, we take game development as a representative domain and introduce the Game Benchmark for Quality Assurance (GBQA), a benchmark containing 30 games and 124 human-verified bugs across three difficulty levels, to evaluate whether LLMs can autonomously detect software bugs. The benchmark is constructed using a multi-agent system that develops games and injects bugs in a scalable manner, with human experts in the loop to ensure correctness. Moreover, we provide a baseline interactive agent equipped with a multi-round ReAct loop and a memory mechanism, enabling long-horizon exploration of game environments for bug detection across different LLMs. Extensive experiments on frontier LLMs demonstrate that autonomous bug discovery remains highly challenging: the best-performing model, Claude-4.6-Opus in thinking mode, identifies only 48.39% of the verified bugs. We believe GBQA provides an adequate testbed and evaluation criterion, and that further progress on it will help close the gap in autonomous software engineering.
- Abstract（参考訳）: バグの自律的な発見は、現代のソフトウェア開発において依然として重要な課題である。
コード生成と比較して、動的ランタイム環境の複雑さは、大きな言語モデル(LLM)においてバグ発見をかなり難しくする。
本稿では,ゲーム開発を代表的分野として取り上げ,ゲーム品質保証ベンチマーク(GBQA)を紹介する。これは3つの難易度で30のゲームと124の人間認証バグを含むベンチマークであり,LSMがソフトウェアバグを自律的に検出できるかどうかを評価する。
このベンチマークは、ゲームを開発し、スケーラブルな方法でバグを注入するマルチエージェントシステムを使用して構築されている。
さらに,複数ラウンドのReActループとメモリ機構を備えたベースライン対話型エージェントを提案し,異なるLLM間でのバグ検出のためのゲーム環境の長期探索を可能にする。
最良性能のモデルであるClaude-4.6-Opusは、検証されたバグの48.39%しか特定していない。
GBQAは十分なテストベッドと評価基準を提供し、それに関するさらなる進歩は、自律的なソフトウェアエンジニアリングのギャップを埋めるのに役立つと信じています。
関連論文リスト
- Anchored Self-Play for Code Repair [68.0728003844994]
コード修復は言語モデル(LM)の重要な機能である
本稿では,1つのモデルを強化学習で訓練し,バグを生成して修正する__generator--fixer self-play__を提案する。
BugSourceBenchでは、セルフプレイは難しいが非現実的なバグへと向かっている。
本稿では,参照バグの生成と混合のためのコード埋め込み型類似性報酬をフィクスチャトレーニングに付加することにより,小さな参照セットでセルフプレイをアンロックするAnchored Self-Play (ASP)を提案する。
論文 参考訳（メタデータ） (2026-07-03T17:51:52Z) - An Empirical Evaluation of Locally Deployed LLMs for Bug Detection in Python Code [0.0]
大規模言語モデル(LLM)は、幅広いソフトウェアエンジニアリングタスクにおいて強力なパフォーマンスを示している。
LLaMA 3.2 と Mistral という2つのローカルにデプロイされた LLM を実世界のPython バグ検出のために体系的に評価した。
機能レベルでのゼロショットプロンプトアプローチと,キーワードベースの自動評価フレームワークを用いて,17プロジェクトにわたる349のバグを評価した。
論文 参考訳（メタデータ） (2026-04-25T16:05:30Z) - ATBench: A Diverse and Realistic Agent Trajectory Benchmark for Safety Evaluation and Diagnosis [96.92417622318267]
ATBenchは、エージェント安全性の構造化、多様性、現実的な評価のための軌道レベルのベンチマークである。
リスクソース、障害モード、現実世界の危害の3つの側面に沿ってエージェント的リスクを編成する。
1000個の軌道(安全503個、安全497個)があり、平均9.01ターンと3.95kトークンがあり、2,084個のツールにまたがるプールから1,954個のツールが呼び出されている。
論文 参考訳（メタデータ） (2026-04-02T13:26:20Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing? [61.247730037229815]
BeyondSWEは2つの軸 – 解像度スコープと知識スコープ – に沿って既存の評価を拡張する包括的なベンチマークです。
外部知識の役割を解明するために,ディープ検索とコーディング能力を統合するフレームワークであるSearchSWEを開発した。
この作業は、現実的で挑戦的な評価ベンチマークと、より有能なコードエージェントに向けた研究を進めるための柔軟なフレームワークの両方を提供する。
論文 参考訳（メタデータ） (2026-03-03T17:52:01Z) - TestExplora: Benchmarking LLMs for Proactive Bug Discovery via Repository-Level Test Generation [19.43198506241428]
提案するTestExploraは,大規模言語モデルを積極的なテスタとして評価するためのベンチマークである。
TestExploraには482リポジトリから2,389のタスクが含まれており、すべての欠陥関連信号を隠している。
現状のモデルでは、F2P(Fail-to-Pass)の最大率は16.06%である。
論文 参考訳（メタデータ） (2026-02-11T03:22:51Z) - BugPilot: Complex Bug Generation for Efficient Learning of SWE Skills [59.003563837981886]
高品質なバグは、次世代の言語モデルベースソフトウェアエンジニアリング(SWE)エージェントをトレーニングする鍵となる。
難易度および多種多様なバグを合成する新しい方法を提案する。
論文 参考訳（メタデータ） (2025-10-22T17:58:56Z) - SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineering Tasks [3.3037205426689433]
ソフトウェア工学における大規模言語モデル(LLM)は、既存のベンチマークにおいて重要な制限を明らかにしている。
例えば、SWE-benchのレポートでは、パッチの32.67%は直接の溶液漏れを含んでいる。
SWE-MERA(SWE-MERA)は、これらの基本的な課題に対処するために設計された、動的で継続的に更新されたベンチマークである。
論文 参考訳（メタデータ） (2025-07-15T07:52:33Z) - MarsCode Agent: AI-native Automated Bug Fixing [7.909344108948294]
MarsCode Agentは、大規模な言語モデルを利用して、ソフトウェアコードのバグを自動的に識別し、修復する新しいフレームワークである。
提案手法は, 計画, バグ再現, 障害局所化, パッチの候補生成, バリデーションといった, 高品質なバグ修正を確実にするための体系的なプロセスに従う。
以上の結果から,MarsCode Agentは既存の自動化アプローチと比較して,バグ修正において高い成功率を達成していることがわかった。
論文 参考訳（メタデータ） (2024-09-02T02:24:38Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。
間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。
本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:27:17Z) - DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
DebugBench - LLM(Large Language Models)のベンチマーク。
C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。
ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
論文 参考訳（メタデータ） (2024-01-09T15:46:38Z) - Exploring Large Language Models in Resolving Environment-Related Crash Bugs: Localizing and Repairing [36.4673637256627]
大規模言語モデル(LLM)は、ソフトウェア工学のタスクにおいて有望であることを示している。
実環境におけるクラッシュバグの解決におけるLLMの能力を評価するための,初の総合的研究を行った。
この結果から,コードクラッシュを解決する上ではローカライゼーションが最大の課題であることが明らかとなった。
論文 参考訳（メタデータ） (2023-12-16T13:41:04Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [98.18244218156492]
大規模言語モデル(LLM)は、非常に高度な自然言語処理を持つ。
アプリケーションがマルチエージェント環境に拡大するにつれて、包括的な評価フレームワークの必要性が生じる。
この研究は、マルチエージェント設定内でLLMを評価するための新しい競合ベースのベンチマークフレームワークを導入している。
論文 参考訳（メタデータ） (2023-11-14T21:46:27Z) - STEAM: Simulating the InTeractive BEhavior of ProgrAMmers for Automatic
Bug Fixing [37.70518599085676]
我々は、バグ解決の協調性をシミュレートするSTEAMという新しいステージワイドフレームワークを紹介した。
バグ修正タスクを,バグ報告,バグ診断,パッチ生成,パッチ検証の4つのステージに分割する。
広く採用されているバグフィックスベンチマークによる評価は、STEAMが最新のバグフィックス性能を新たに達成したことを示している。
論文 参考訳（メタデータ） (2023-08-28T09:56:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。