論文の概要: From Bugs to Benchmarks: A Comprehensive Survey of Software Defect Datasets
- arxiv url: http://arxiv.org/abs/2504.17977v1
- Date: Thu, 24 Apr 2025 23:07:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.59653
- Title: From Bugs to Benchmarks: A Comprehensive Survey of Software Defect Datasets
- Title（参考訳）: バグからベンチマークへ - ソフトウェア欠陥データセットの包括的調査
- Authors: Hao-Nan Zhu, Robert M. Furth, Michael Pradel, Cindy Rubio-González,
- Abstract要約: ソフトウェア欠陥データセットは、ソフトウェアバグとその関連情報の集合である。
長年にわたり、多くのソフトウェア欠陥データセットが開発され、コミュニティに豊富なリソースを提供してきた。
この記事では、132のソフトウェア欠陥データセットを包括的に調査する。
- 参考スコア（独自算出の注目度）: 19.140541190998842
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software defect datasets, which are collections of software bugs and their associated information, are essential resources for researchers and practitioners in software engineering and beyond. Such datasets facilitate empirical research and enable standardized benchmarking for a wide range of techniques, including fault detection, fault localization, test generation, test prioritization, automated program repair, and emerging areas like agentic AI-based software development. Over the years, numerous software defect datasets with diverse characteristics have been developed, providing rich resources for the community, yet making it increasingly difficult to navigate the landscape. To address this challenge, this article provides a comprehensive survey of 132 software defect datasets. The survey discusses the scope of existing datasets, e.g., regarding the application domain of the buggy software, the types of defects, and the programming languages used. We also examine the construction of these datasets, including the data sources and construction methods employed. Furthermore, we assess the availability and usability of the datasets, validating their availability and examining how defects are presented. To better understand the practical uses of these datasets, we analyze the publications that cite them, revealing that the primary use cases are evaluations of new techniques and empirical research. Based on our comprehensive review of the existing datasets, this paper suggests potential opportunities for future research, including addressing underrepresented kinds of defects, enhancing availability and usability through better dataset organization, and developing more efficient strategies for dataset construction and maintenance.
- Abstract（参考訳）: ソフトウェア欠陥データセットは、ソフトウェアバグとその関連情報の集合であり、ソフトウェア工学などにおける研究者や実践者にとって必須のリソースである。
このようなデータセットは実証的研究を促進し、障害検出、障害ローカライゼーション、テスト生成、テスト優先化、自動プログラム修復、エージェントAIベースのソフトウェア開発のような新興分野を含む、幅広いテクニックの標準化されたベンチマークを可能にする。
長年にわたり、様々な特徴を持つ多数のソフトウェア欠陥データセットが開発され、コミュニティに豊富なリソースを提供してきたが、ランドスケープをナビゲートするのはますます困難になっている。
この課題に対処するために、この記事では、132のソフトウェア欠陥データセットに関する包括的な調査を紹介する。
調査では、バグの多いソフトウェアのアプリケーションドメイン、欠陥の種類、使用されているプログラミング言語について、既存のデータセットの範囲について論じている。
また,データソースや構築手法を含む,これらのデータセットの構築についても検討する。
さらに、データセットの可用性とユーザビリティを評価し、それらの可用性を検証し、欠陥がどのように提示されるかを調べる。
これらのデータセットの実用的利用をよりよく理解するために、引用する出版物を分析し、主要なユースケースが新しい技術の評価と経験的研究であることを明らかにした。
本稿では,既存のデータセットの総合的なレビューに基づいて,未表現の欠陥への対処,より良いデータセット組織による可用性とユーザビリティの向上,データセット構築とメンテナンスのためのより効率的な戦略開発など,今後の研究の可能性を提案する。
関連論文リスト
- Rethinking Software Misconfigurations in the Real World: An Empirical Study and Literature Analysis [9.88064494257381]
本研究では,823個の実世界の誤設定問題に関する実証的研究を行い,ソフトウェア誤設定の根本原因の新たな分類法を提案する。
研究対象は,基本的なソフトウェアから高度なアプリケーションへと変化している。
一方、性能劣化やセキュリティリスクといった非クラッシュなミスコンフィグレーションに関する研究も大きな成長をもたらしている。
論文 参考訳（メタデータ） (2024-12-15T08:53:41Z) - Towards Understanding the Impact of Data Bugs on Deep Learning Models in Software Engineering [13.17302533571231]
ディープラーニング(DL)システムは、トレーニングデータを含む多くのソースからのバグがちである。
既存の文献では、トレーニングデータのバグが非常に多いことが示唆されている。
本稿では,コードベース,テキストベース,メトリックベースの3種類のデータについて検討する。
論文 参考訳（メタデータ） (2024-11-19T00:28:20Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳（メタデータ） (2024-07-01T18:58:22Z) - A PRISMA Driven Systematic Review of Publicly Available Datasets for Benchmark and Model Developments for Industrial Defect Detection [0.0]
進捗にとって重要な障壁は、注釈付き欠陥を含む包括的なデータセットの不足である。
2015年から2023年までのこの体系的なレビューでは、15の公開データセットが特定されている。
この体系的なレビューの目的は、これらのデータセットを単一の場所に集約し、研究者に包括的な参照を提供することである。
論文 参考訳（メタデータ） (2024-06-11T20:14:59Z) - A Survey on Data Selection for Language Models [148.300726396877]
データ選択方法は、トレーニングデータセットに含まれるデータポイントを決定することを目的としている。
ディープラーニングは、主に実証的な証拠によって駆動され、大規模なデータに対する実験は高価である。
広範なデータ選択研究のリソースを持つ組織はほとんどない。
論文 参考訳（メタデータ） (2024-02-26T18:54:35Z) - On Responsible Machine Learning Datasets with Fairness, Privacy, and Regulatory Norms [56.119374302685934]
AI技術の信頼性に関する深刻な懸念があった。
機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。
本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-24T14:01:53Z) - A Survey of Dataset Refinement for Problems in Computer Vision Datasets [11.45536223418548]
大規模データセットはコンピュータビジョンの進歩に重要な役割を果たしてきた。
クラス不均衡、ノイズの多いラベル、データセットバイアス、高いリソースコストといった問題に悩まされることが多い。
データセット問題を解決するために、様々なデータ中心のソリューションが提案されている。
データセットを再構成することで、データセットの品質が向上します。
論文 参考訳（メタデータ） (2022-10-21T03:58:43Z) - DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。
私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。
ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文 参考訳（メタデータ） (2022-07-20T17:47:54Z) - Building Inspection Toolkit: Unified Evaluation and Strong Baselines for
Damage Recognition [0.0]
損傷認識の分野において、関連するオープンソースデータセットを含むデータハブを簡易に使用するためのビルディングインスペクションツールキット -- bikit -- を紹介します。
データセットには評価分割と事前定義されたメトリクスが組み込まれており、特定のタスクとそのデータ分布に適合する。
この領域の研究者のモチベーションを高めるために、私たちはリーダーボードとモデルの重みをコミュニティと共有する可能性も提供します。
論文 参考訳（メタデータ） (2022-02-14T20:05:59Z) - The Problem of Zombie Datasets:A Framework For Deprecating Datasets [55.878249096379804]
我々は、ImageNet、8000 Million Tiny Images、MS-Celeb-1M、Duke MTMC、Brainwash、HRT Transgenderなど、いくつかの著名なデータセットの公開後処理について検討する。
本稿では,リスクの考慮,影響の緩和,アピール機構,タイムライン,非推奨プロトコル,公開チェックなどを含むデータセットの非推奨化フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-18T20:13:51Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳（メタデータ） (2021-04-17T21:34:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。