論文の概要: Diff-Based Code Corruption using LLMs for Large-Scale Bugfix Benchmarking

• arxiv url: http://arxiv.org/abs/2606.29088v3
• Date: Wed, 01 Jul 2026 09:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 15:15:53.05876
• Title: Diff-Based Code Corruption using LLMs for Large-Scale Bugfix Benchmarking
• Title（参考訳）: LLMを用いた大規模バグフィックスベンチマークのためのディフベースコード破壊
• Abstract要約: 大規模なバグフィックスベンチマークであるMegaBugFixを紹介した。 MegaBugFixとベースラインベンチマークで13のオープンウェイトモデルを評価し,MegaBugFixの性能を一貫して低下させた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are various benchmarks to evaluate bugfixing capabilities of Large Language Models. However, most widespread benchmarks do not fully reflect real-world bugfixing practices. They are small, weakening statistical reliability, and the buggy programs are often similar to one another, potentially distorting evaluation results. The range of bug types can also be narrow, failing to capture a representative range of bugs. To address these issues, we introduce MegaBugFix, a large-scale bugfixing benchmark containing 12,629 buggy Python programs synthesized from correct ones by a Large Language Model. Bug injections were generated as diffs representing code changes. Through this approach, we were able to avoid common pitfalls of LLM-based mutation techniques like injecting overly simplistic bugs or failing to modify the input program. We evaluated 13 open-weight models on MegaBugFix and baseline benchmarks, finding consistently lower performance on MegaBugFix. This reveals that our benchmark presents more challenging bugs and exposes model failures that may remain hidden when evaluating on existing benchmarks. The benchmark and fine-tuned model used for bug injection are available at hf.co/collections/szalontaib/megabugfix.
• Abstract（参考訳）: 大規模言語モデルのバグフィックス機能を評価するためのベンチマークは様々である。 しかし、ほとんどのベンチマークは実際のバグフィックスのプラクティスを完全に反映していない。 それらは小さく、統計的信頼性は弱く、バギープログラムは互いによく似ており、潜在的に評価結果を歪ませる可能性がある。 バグタイプの範囲は狭く、さまざまなバグをキャプチャできないこともある。 これらの問題に対処するために,大規模なバグフィックスベンチマークであるMegaBugFixを紹介した。 コード変更を表すdiffとして、バグインジェクションが生成される。 このアプローチにより、過度に単純化されたバグを注入したり、入力プログラムの変更に失敗したりといった、LSMベースの突然変異テクニックの一般的な落とし穴を回避できた。 MegaBugFixとベースラインベンチマークで13のオープンウェイトモデルを評価し,MegaBugFixの性能を一貫して低下させた。 これは、我々のベンチマークがより難しいバグを示し、既存のベンチマークで評価する際に隠されたままのモデル失敗を露呈していることを示している。 バグインジェクションに使用されるベンチマークと微調整モデルは、hf.co/collections/szalontaib/megabugfixで利用可能である。

関連論文リスト

• Model See, Model Do? Exposure-Aware Evaluation of Bug-vs-Fix Preference in Code LLMs [14.187824830583784]
  LLMが正しいコードを好むかどうかを判断することは、トレーニング中に露出したものに影響される可能性がある。 我々は、バグギーと固定コードへの事前露光がモデルの嗜好にどのように影響するかを定量化する露光認識評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-01-15T15:14:29Z)
• BugPilot: Complex Bug Generation for Efficient Learning of SWE Skills [59.003563837981886]
  高品質なバグは、次世代の言語モデルベースソフトウェアエンジニアリング(SWE)エージェントをトレーニングする鍵となる。 難易度および多種多様なバグを合成する新しい方法を提案する。
  論文  参考訳（メタデータ） (2025-10-22T17:58:56Z)
• How Many Code and Test Cases Are Enough? Evaluating Test Cases Generation from a Binary-Matrix Perspective [51.30005925128432]
  LLM(Large Language Models)が自動生成するテストケースの評価は、非常に難しい作業です。 既存のベンチマークは高い計算コスト、インフレーションのスコア、稀でクリティカルな欠陥に対する自明なバグに対するバイアスに悩まされている。 本稿では,ベンチマーク構築をバイナリコードテスト行列の最適な診断基準として定式化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T18:29:24Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• Are Large Language Models Memorizing Bug Benchmarks? [6.640077652362016]
  大規模言語モデル(LLM)は、コード生成、バグ検出、修復など、様々なソフトウェアエンジニアリングタスクに不可欠なものになっている。 ソフトウェアエンジニアリングコミュニティの懸念は、ベンチマークがデータ漏洩のリスクのため、真のLLMパフォーマンスを確実に反映していないことだ。 一般的なLSMを系統的に評価し、広く使われているバグベンチマークからデータ漏洩に対する感受性を評価する。
  論文  参考訳（メタデータ） (2024-11-20T13:46:04Z)
• From Code to Correctness: Closing the Last Mile of Code Generation with Hierarchical Debugging [7.503636246307676]
  さまざまなレベルの粒度でバグを分離,識別,解決し,階層的なコードデバッガであるMulti-Granularity Debugger (MG Debugger)を紹介した。 MGデバッガは問題のあるコードをサブファンクションの階層木構造に分解し、各レベルは特定のエラーの粒度を表す。 これは、HumanEvalのシード世代の精度を18.9%向上させ、HumanEvalFixの97.6%の修復成功率を達成した。
  論文  参考訳（メタデータ） (2024-10-02T03:57:21Z)
• The Fact Selection Problem in LLM-Based Program Repair [3.7005619077967133]
  コードコンテキストのような単純な構文的な詳細から、以前はPythonプロジェクトのコンテキストで探索されていなかった意味情報まで、それぞれの事実が有益であることを示す。 重要なことは、プログラム修復プロンプトの有効性は、使用済み事実の数よりも非単調であることが判明した。 我々は、特定のバグに固有の事実を抽出し、プロンプトに含める基本統計モデルManipleを開発した。
  論文  参考訳（メタデータ） (2024-04-08T13:41:32Z)
• DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
  DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-09T15:46:38Z)
• RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic Program Repair [75.40584530380589]
  新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。 RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。 RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
  論文  参考訳（メタデータ） (2023-09-12T08:52:56Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。