論文の概要: SZZBench: Controlled Git Histories with Explicit Oracles for Diagnosing SZZ Implementations
- arxiv url: http://arxiv.org/abs/2611.17669v1
- Date: Fri, 13 Nov 2026 02:33:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.291966
- Title: SZZBench: Controlled Git Histories with Explicit Oracles for Diagnosing SZZ Implementations
- Title(参考訳): SZZBench: SZZ実装を診断するための明示的なOracleによるGitヒストリーのコントロール
- Abstract要約: SZZアルゴリズムはバグ修正コミットを、バグを導入したコミットにトレースする。
SZZBenchは宣言的なシナリオから明確なオラクルでGitリポジトリを生成する。
これは、宣言された評価ポリシーの下で、任意のSZZ実装の予測をスコア付けする。
- 参考スコア(独自算出の注目度): 0.4024850952459757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The SZZ algorithm traces a bug-fixing commit back to the commits that introduced the bug. Its labels underlie defect-prediction data sets and many mining software repositories studies. SZZ implementations are mostly evaluated against oracles mined from real projects. Such oracles are realistic, but each case mixes the history factors that make an implementation succeed or fail, and an aggregate score cannot show why. We present SZZBench, a tool that shows why: it generates ordinary Git repositories from declarative scenarios with explicit oracles, scores the predictions of any SZZ implementation under declared evaluation policies, and reads each result against 26 naive baselines, such as always answering the second commit. SZZBench also checks the declarations of new scenarios, such as the tier, against the results of the naive baselines. Currently, SZZBench ships 279 scenarios in 17 categories and adapters for four SZZ tools. Running these tools in nine configurations without changing their code, we find that PyDriller passes 161 scenarios and a rule that always answers the second commit passes 160, yet only 97 scenarios are passed by both: the two succeed on different scenarios, which the number of passed scenarios hides and the per-scenario results reveal. SZZBench is available at https://github.com/higolab/SZZBench.
- Abstract(参考訳): SZZアルゴリズムはバグ修正コミットを、バグを導入したコミットにトレースする。
そのラベルは欠陥予測データセットと多くのマイニングソフトウェアリポジトリ研究の基盤となっている。
SZZの実装は、主に実際のプロジェクトから採掘されたオラクルに対して評価される。
このようなオラクルは現実的であるが、それぞれのケースは実装を成功または失敗させる履歴要素を混ぜ合わせており、集計スコアは理由を示すことができない。
SZZBenchは、宣言的なシナリオから明示的なオラクルで通常のGitリポジトリを生成し、宣言された評価ポリシーの下でSZZ実装の予測をスコア付けし、各結果を、常に第2のコミットに答えるなど、26の単純なベースラインで読み取る。
SZZBenchはまた、階層のような新しいシナリオの宣言を、単純なベースラインの結果に対してチェックする。
現在、SZZBenchは17のカテゴリで279のシナリオと4つのSZZツールのアダプタを提供している。
これらのツールをコードを変更せずに9つの設定で実行すると、PyDriller氏は161のシナリオをパスし、2番目のコミットが160を超えると必ず答えるルールを発見した。
SZZBenchはhttps://github.com/higolab/SZZBench.comで入手できる。
関連論文リスト
- NL2Scratch: An Executable Benchmark and Evaluation for Block-Based Programming [62.89531126732269]
NL2Scratchは自然言語からスクラッチ生成のための実行可能なベンチマークである。
23,594例のセマンティック検証プールと,スロットバランス800例の診断ベンチマークを構築した。
命令調整と微調整によるLLM実験では、語彙的類似性と意味的アライメントとの間に顕著なギャップが示される。
論文 参考訳(メタデータ) (2026-06-20T14:22:59Z) - AgentSZZ: Teaching the LLM Agent to Play Detective with Bug-Inducing Commits [14.213358505741105]
AgentSZZは、バグを引き起こすコミットを特定するエージェントベースのフレームワークである。
従来の方法とは異なり、AgentSZZはタスク固有のツール、ドメイン知識、ReActスタイルのループを統合し、バグの適応的および因果的トレースを可能にする。
実験によると、AgentSZZはすべての設定で最先端のSZZアルゴリズムより一貫して優れている。
論文 参考訳(メタデータ) (2026-04-03T02:54:02Z) - SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。
従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
論文 参考訳(メタデータ) (2025-05-29T18:28:02Z) - LLM4SZZ: Enhancing SZZ Algorithm with Context-Enhanced Assessment on Large Language Models [10.525352489242398]
SZZアルゴリズムは、バグ発生コミットを特定する主要な手法である。
バグ予測や静的コード解析など、多くのソフトウェア工学研究の基盤となっている。
近年,従来のSZZアルゴリズムを強化するために,ディープラーニングに基づくSZZアルゴリズムが導入された。
論文 参考訳(メタデータ) (2025-04-02T06:40:57Z) - Your Fix Is My Exploit: Enabling Comprehensive DL Library API Fuzzing with Large Language Models [49.214291813478695]
AIアプリケーションで広く使用されているディープラーニング(DL)ライブラリは、オーバーフローやバッファフリーエラーなどの脆弱性を含むことが多い。
従来のファジィングはDLライブラリの複雑さとAPIの多様性に悩まされている。
DLライブラリのためのLLM駆動ファジィ手法であるDFUZZを提案する。
論文 参考訳(メタデータ) (2025-01-08T07:07:22Z) - WIA-SZZ: Work Item Aware SZZ [3.7232697932311645]
既存のSZZアルゴリズムは、修正コミットを入力として与えられたときにバグを引き起こした潜在的なコミットを特定する。
私たちは、コミットを検出する作業項目を活用して、最初にバグを誘発するコミットを提案する、新しいSZZの亜種を構築します。
私たちの評価では、作業項目を見つけるのに64%の正確さが示されていますが、最も重要なのは、多くのバグを誘発するコミットを見つけることができることです。
論文 参考訳(メタデータ) (2024-11-19T18:59:14Z) - SWE-bench: Can Language Models Resolve Real-World GitHub Issues? [80.52201658231895]
SWE-benchは、実際のGitHub問題から引き出された2,294ドルのソフトウェアエンジニアリング問題と、人気のあるPythonリポジトリ12ドルのプルリクエストで構成される評価フレームワークである。
我々は、最先端のプロプライエタリモデルと微調整モデルSWE-Llamaの両方が、最も単純な問題だけを解決できることを示します。
論文 参考訳(メタデータ) (2023-10-10T16:47:29Z) - Evaluating SZZ Implementations: An Empirical Study on the Linux Kernel [8.698309437598944]
ゴーストコミットがSZZアルゴリズムに与える影響の評価は依然として限られている。
Linuxカーネル開発者は、標準のプラクティスとして、対応するバグ誘発コミット(s)のコミット識別子でバグ修正パッチのラベル付けを始めた。
本稿では6つのSZZアルゴリズムを76,046対のバグ修正パッチとLinuxカーネルからのバグ発生コミットに適用する。
論文 参考訳(メタデータ) (2023-08-09T16:41:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。