論文の概要: BugPilot: Complex Bug Generation for Efficient Learning of SWE Skills

• arxiv url: http://arxiv.org/abs/2510.19898v2
• Date: Tue, 28 Oct 2025 19:10:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 13:34:45.413625
• Title: BugPilot: Complex Bug Generation for Efficient Learning of SWE Skills
• Title（参考訳）: BugPilot: SWEスキルの効率的な学習のための複雑なバグ生成
• Authors: Atharv Sonwane, Isadora White, Hyunji Lee, Matheus Pereira, Lucas Caccia, Minseon Kim, Zhengyan Shi, Chinmay Singh, Alessandro Sordoni, Marc-Alexandre Côté, Xingdi Yuan,
• Abstract要約: 高品質なバグは、次世代の言語モデルベースソフトウェアエンジニアリング(SWE)エージェントをトレーニングする鍵となる。 難易度および多種多様なバグを合成する新しい方法を提案する。
• 参考スコア（独自算出の注目度）: 59.003563837981886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High quality bugs are key to training the next generation of language model based software engineering (SWE) agents. We introduce a novel method for synthetic generation of difficult and diverse bugs. Our method instructs SWE Agents to introduce a feature into the codebase whereby they may unintentionally break tests, resulting in bugs. Prior approaches often induce an out-of-distribution effect by generating bugs intentionally (e.g. by introducing local perturbation to existing code), which does not reflect realistic development processes. We perform qualitative analysis to demonstrate that our approach for generating bugs more closely reflects the patterns found in human-authored edits. Through extensive experiments, we demonstrate that our bugs provide more efficient training data for supervised fine-tuning, outperforming other bug datasets by 2% with half the training data (1.2k vs. 3k bugs). We train on our newly generated bugs in addition to existing bug datasets to get FrogBoss a state-of-the-art 32B parameter model on SWE-bench Verified with a pass@1 of 54.6% and FrogMini a state-of-the-art 14B model on SWE-bench Verified with a pass@1 of 45.3% on SWE-bench Verified averaged over three seeds.
• Abstract（参考訳）: 高品質なバグは、次世代の言語モデルベースソフトウェアエンジニアリング(SWE)エージェントをトレーニングする鍵となる。 難易度および多種多様なバグを合成する新しい方法を提案する。 我々のメソッドは、SWE Agentsにコードベースに機能を導入するように指示します。 従来のアプローチでは、故意にバグを発生させること(例えば、既存のコードに局所的な摂動を導入すること)によって、現実的な開発プロセスを反映しない、アウト・オブ・ディストリビューション(out-of-distriion)効果をしばしば引き起こします。 我々は、バグを発生させるためのアプローチが、人間による編集で見られるパターンをより深く反映していることを示す定性的な分析を行う。 広範な実験を通じて、我々のバグは教師付き微調整のためのより効率的なトレーニングデータを提供し、トレーニングデータの半分(1.2k対3kのバグ)で他のバグデータセットを2%上回っていることを実証した。 我々は、既存のバグデータセットに加えて、新たに生成されたバグをトレーニングして、SWE-benchの最先端32BパラメータモデルであるFrogBossをパス@1で検証し、SWE-benchの最先端14BモデルであるFrogMiniをパス@1で検証し、SWE-benchの45.3%を平均3つのシードで検証します。

関連論文リスト

• BugGen: A Self-Correcting Multi-Agent LLM Pipeline for Realistic RTL Bug Synthesis [1.9291502706655312]
  我々はBugGenを紹介した。これは完全な自律型マルチエージェントパイプラインで、RTLの機能的バグを生成し、挿入し、検証する。 BugGenはモジュールを分割し、クローズドループエージェントアーキテクチャを介して突然変異ターゲットを選択し、反復的な洗練とロールバック機構を採用している。 5つのOpenTitan IPブロックで評価され、BugGenは機能精度94%の500のユニークなバグを発生し、通常のマニュアル専門家の挿入より5倍速い時間当たり17.7のバグを検証した。
  論文  参考訳（メタデータ） (2025-06-12T09:02:20Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
  DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-09T15:46:38Z)
• ADPTriage: Approximate Dynamic Programming for Bug Triage [0.0]
  オンラインバグトリアージタスクのためのマルコフ決定プロセス(MDP)モデルを開発した。 私たちはADPTriageと呼ばれるADPベースのバグトリアージソリューションを提供しています。 以上の結果から, 代入精度と固定時間の観点から, ミオピックアプローチよりも有意な改善が見られた。
  論文  参考訳（メタデータ） (2022-11-02T04:42:21Z)
• On Distribution Shift in Learning-based Bug Detectors [4.511923587827301]
  まず、モデルをバグ検出領域に適応させるため、次に実際のバグ検出領域に適応させるために、モデルを実際の配布に向けて駆動するために、バグ検出装置を2つのフェーズで訓練する。 我々は,本手法を広範に研究した3種類のバグタイプに対して評価し,実際のバグ分布を捉えるために慎重に設計された新しいデータセットを構築した。
  論文  参考訳（メタデータ） (2022-04-21T12:17:22Z)
• DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
  本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。 モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。 ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
  論文  参考訳（メタデータ） (2022-01-14T00:16:57Z)
• Self-Supervised Bug Detection and Repair [27.46717890823656]
  本稿では,バグ検出と修復の自己教師型学習手法であるBugLabを紹介する。 BugLabのPython実装では、2374の実際のバグのテストデータセットのベースラインメソッドで最大30%改善されている。
  論文  参考訳（メタデータ） (2021-05-26T18:41:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。