Fugu-MT 論文翻訳(概要): GitBug-Java: A Reproducible Benchmark of Recent Java Bugs

論文の概要: GitBug-Java: A Reproducible Benchmark of Recent Java Bugs

arxiv url: http://arxiv.org/abs/2402.02961v2
Date: Tue, 6 Feb 2024 14:08:38 GMT
ステータス: 処理完了
システム内更新日: 2024-02-07 11:13:31.567486
Title: GitBug-Java: A Reproducible Benchmark of Recent Java Bugs
Title（参考訳）: GitBug-Java - 最近のJavaバグの再現可能なベンチマーク
Authors: Andr\'e Silva, Nuno Saavedra, Martin Monperrus
Abstract要約: 最近のJavaバグの再現可能なベンチマークであるGitBug-Javaを紹介します。 GitBug-Javaは、55の有名なオープンソースリポジトリの2023年のコミット履歴から抽出された199のバグを特徴としている。
参考スコア（独自算出の注目度）: 8.508198765617196
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Bug-fix benchmarks are essential for evaluating methodologies in automatic program repair (APR) and fault localization (FL). However, existing benchmarks, exemplified by Defects4J, need to evolve to incorporate recent bug-fixes aligned with contemporary development practices. Moreover, reproducibility, a key scientific principle, has been lacking in bug-fix benchmarks. To address these gaps, we present GitBug-Java, a reproducible benchmark of recent Java bugs. GitBug-Java features 199 bugs extracted from the 2023 commit history of 55 notable open-source repositories. The methodology for building GitBug-Java ensures the preservation of bug-fixes in fully-reproducible environments. We publish GitBug-Java at https://github.com/gitbugactions/gitbug-java.
Abstract（参考訳）: バグフィックスベンチマークは自動プログラム修復(apr)とフォールトローカライゼーション(fl)の方法論を評価するのに不可欠である。しかし、欠陥4jによって例示される既存のベンチマークは、現代の開発プラクティスに沿った最近のバグ修正を組み込むために進化する必要がある。さらに、再現性は重要な科学的原則であり、バグフィックスベンチマークに欠けている。これらのギャップに対処するため、最近のJavaバグの再現可能なベンチマークであるGitBug-Javaを紹介します。 GitBug-Javaは、55の有名なオープンソースリポジトリのコミット履歴から抽出された199のバグを特徴としている。 GitBug-Javaを構築するための方法論は、完全に再現可能な環境におけるバグフィックスの保存を保証する。 GitBug-Javaはhttps://github.com/gitbugactions/gitbug-java.orgで公開しています。

関連論文リスト

JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models [123.66104233291065]
ジェイルブレイク攻撃は、大きな言語モデル(LLM)が有害、非倫理的、またはその他の不快なコンテンツを生成する原因となる。これらの攻撃を評価することは、現在のベンチマークと評価テクニックの収集が適切に対処していない、多くの課題を提示します。 JailbreakBenchは、以下のコンポーネントを備えたオープンソースのベンチマークである。
論文参考訳（メタデータ） (2024-03-28T02:44:02Z)
MAGIS: LLM-Based Multi-Agent Framework for GitHub Issue Resolution [47.850418420195304]
大規模言語モデル(LLM)はコード生成において有望であるが、GitHubの問題を解決する上で困難に直面している。ソフトウェア進化のためにカスタマイズされた4つのエージェントからなる、GitHub Issue Resolution, MAGISのための新しいMulti-Agentフレームワークを提案する。
論文参考訳（メタデータ） (2024-03-26T17:57:57Z)
BugsInPy: A Database of Existing Bugs in Python Programs to Enable Controlled Testing and Debugging Studies [8.746971239693066]
初めて、PythonはStack Overflow開発者調査でJavaを上回った。これは、Javaのテストツールやデバッグツールが豊富にあるのとは対照的である。このプロジェクトでは、17の現実のPythonプログラムから493の実際のバグを含むベンチマークデータベースとツールを作成します。
論文参考訳（メタデータ） (2024-01-27T19:07:34Z)
DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
論文参考訳（メタデータ） (2024-01-09T15:46:38Z)
GitBug-Actions: Building Reproducible Bug-Fix Benchmarks with GitHub Actions [8.508198765617196]
GitBug-Actionsは、最新の完全に再現可能なバグフィックスでバグフィックスベンチマークを構築するための新しいツールです。 GitBug-Actionsは、最も人気のあるCIプラットフォームであるGitHub Actionsに依存してバグフィックスを検出する。ツールチェーンを実証するために、GitBug-Actionsをデプロイして、概念実証Goバグフィックスベンチマークを構築しました。
論文参考訳（メタデータ） (2023-10-24T09:04:14Z)
PreciseBugCollector: Extensible, Executable and Precise Bug-fix Collection [8.79879909193717]
正確な多言語バグ収集手法であるPreciseBugCollectorを紹介する。外部バグリポジトリでリポジトリをマップしてバグタイプ情報をトレースするバグトラッカと、プロジェクト固有のバグを生成するバグインジェクタの2つの新しいコンポーネントに基づいている。現在、PreciseBugCollectorは2968のオープンソースプロジェクトから抽出された1057818のバグを含んでいる。
論文参考訳（メタデータ） (2023-09-12T13:47:44Z)
RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic Program Repair [75.40584530380589]
新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。 RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。 RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
論文参考訳（メタデータ） (2023-09-12T08:52:56Z)
Using Developer Discussions to Guide Fixing Bugs in Software [51.00904399653609]
我々は,タスク実行前に利用可能であり,また自然発生しているバグレポートの議論を,開発者による追加情報の必要性を回避して利用することを提案する。このような議論から派生したさまざまな自然言語コンテキストがバグ修正に役立ち、オラクルのバグ修正コミットに対応するコミットメッセージの使用よりもパフォーマンスの向上につながることを実証する。
論文参考訳（メタデータ） (2022-11-11T16:37:33Z)
BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
論文参考訳（メタデータ） (2022-07-21T20:17:53Z)
DeepDebug: Fixing Python Bugs Using Stack Traces, Backtranslation, and Code Skeletons [5.564793925574796]
本稿では,大規模な事前学習型トランスを用いた自動デバッグ手法を提案する。まず、合成バグを生成するために、逆コミットデータにバグ生成モデルをトレーニングすることから始めます。次に、テストを実行できる10Kリポジトリに焦点を当て、テストをパスすることでカバーされるすべての関数のバグの多いバージョンを作成します。
論文参考訳（メタデータ） (2021-05-19T18:40:16Z)
Generating Bug-Fixes Using Pretrained Transformers [11.012132897417592]
実世界のgithubからマイニングしたjavaメソッドのバグの検出と修正を学ぶ,データ駆動型プログラム修復手法を導入する。ソースコードプログラムの事前トレーニングは,スクラッチからの教師ありトレーニングに比べて,33%のパッチ数を改善することを示す。我々は,標準精度評価基準を非削除および削除のみの修正に洗練し,我々の最良モデルが従来よりも75%多くの非削除修正を生成することを示す。
論文参考訳（メタデータ） (2021-04-16T05:27:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。