論文の概要: GitReq: A Gold Standard Dataset for Software Quality Requirements
- arxiv url: http://arxiv.org/abs/2606.21810v1
- Date: Sat, 20 Jun 2026 00:05:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 03:02:30.555136
- Title: GitReq: A Gold Standard Dataset for Software Quality Requirements
- Title（参考訳）: GitReq: ソフトウェア品質要求のためのゴールドスタンダードデータセット
- Authors: Farha Kamal, Md Humaun Kabir, Md Rakibul Islam,
- Abstract要約: GitHubのイシュートラッカには、数百万の開発者による品質上の懸念が含まれている。
公開されているGitHubデータセットは、これらをきめ細かいソフトウェア品質カテゴリに分類していない。
55,588人の生のGitHub候補から抽出された6,302人のエキスパート検証済みの要件で構成されるGitReq GitHub Requirement Issueを構築してリリースする。
- 参考スコア（独自算出の注目度）: 0.28675177318965045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GitHub issue trackers contain millions of developer-written quality concerns, including performance bottlenecks and security vulnerabilities, yet no publicly available GitHub dataset classifies these into fine-grained software quality categories. We construct and release GitReq GitHub Requirement Issue, comprising 6,302 expert-validated requirements mined from 55,588 raw GitHub candidates across 4,080 repositories, labeled across eight ISO/IEC 25010:2011-aligned categories: Performance, Security, Portability, Availability, Fault-tolerance, Scalability, Maintainability, and a Functional baseline. Dataset construction involved category-specific triple-signal GitHub mining, separate non-functional requirement (NFR) and functional requirement (FR) preprocessing pipelines with per-category parameters, and expert human annotation achieving substantial inter-annotator agreement (Fleiss' Kappa~=~0.72). Zero-shot evaluation with four large language models (LLMs) establishes baselines, with GPT-5.2 reaching the highest macro-averaged F1 of 0.641. GitReq is publicly released with full materials to advance research in automated requirement classification and software quality analysis.
- Abstract（参考訳）: GitHubのイシュートラッカには、パフォーマンスのボトルネックやセキュリティ上の脆弱性など、数百万の開発者による品質上の懸念が含まれている。
パフォーマンス、セキュリティ、ポータビリティ、可用性、フォールトトレランス、スケーラビリティ、保守性、機能ベースラインの8つのISO/IEC 25010:2011準拠のカテゴリにラベル付けされている。
データセットの構築には、カテゴリ固有のトリプルシグナルGitHubマイニング、カテゴリごとのパラメータを持つ別個の非機能要件(NFR)と機能要件(FR)事前処理パイプライン、アノテータ間の相当な合意(Fleiss' Kappa~=~0.72)を達成する専門家の人間のアノテーションが含まれていた。
4つの大きな言語モデル(LLM)によるゼロショット評価はベースラインを確立し、GPT-5.2は0.641のマクロ平均F1に達した。
GitReqは、自動要件分類とソフトウェア品質分析の研究を進めるための、完全な資料とともに、一般公開されている。
関連論文リスト
- ATLAS: Agentic Taxonomy of Large-Scale Software Ecosystems [14.128311996090352]
GitHubには、ソフトウェアリポジトリの体系的な階層的な分類がない。
ソフトウェアリポジトリの階層的な分類を自動的に構築し、プロジェクトをエンドツーエンドに分類する最初のフレームワークであるATLASを紹介します。
論文 参考訳（メタデータ） (2026-06-19T16:51:10Z) - SentTrack: Sentiment-Driven Bottleneck Detection in GitHub Issue Repositories [4.18477469430107]
SentTrackは、GitHubのイシューディスカッションから社会技術的ボトルネックを検出するためのフレームワークである。
これは約9000のイシュースレッドにわたるAvaloniaUIオープンソースリポジトリに適用される。
論文 参考訳（メタデータ） (2026-06-09T22:12:41Z) - DeNovoSWE: Scaling Long-Horizon Environments for Generating Entire Repositories from Scratch [89.87798465720181]
リポジトリ全体生成のための大規模データセットである textbfDeNovoSWE を紹介する。
DeNovoSWEは4,818の高品質なインスタンスで構成されており、各インスタンスはドキュメントから完全なリポジトリを生成する必要がある。
DeNovoSWE上の微調整Qwen3-30B-A3Bは、長期SWEのパフォーマンスを大幅に改善し、挑戦的なBeyondSWE-Doc2Repoベンチマークのスコアを5.8%から47.2%に引き上げた。
論文 参考訳（メタデータ） (2026-06-09T11:37:15Z) - Weaponizing the Commons: A Taxonomy and Detection Framework of Abuse on GitHub [31.618034402766018]
GitHubは現代のソフトウェアサプライチェーンにおいて重要な役割を担っており、セキュリティが重要な研究課題となっている。
既存の研究は主にCI/CD自動化、コラボレーションパターン、コミュニティ管理に重点を置いている。
本稿では,GitHubの悪用行為の報告を体系的にレビューし,要約し,公的な乱用事例の実証分析を行う。
本研究は,ソフトウェアセキュリティの観点から,その多様な症状と根本原因を特徴付ける包括的分類法を提案する。
論文 参考訳（メタデータ） (2026-04-20T07:37:03Z) - ReqFusion: A Multi-Provider Framework for Automated PEGS Analysis Across Software Domains [0.45880283710344066]
ReqFusionは、ソフトウェア要件の抽出、分類、分析を自動化するAI強化システムである。
アーキテクチャはOpenAI GPT、Anthhropic Claude、Groqモデルを統合し、機能的および非機能的要件を抽出する。
論文 参考訳（メタデータ） (2026-03-24T17:45:40Z) - GREPO: A Benchmark for Graph Neural Networks on Repository-Level Bug Localization [50.009407518866965]
リポジトリレベルのバグローカライゼーションは、ソフトウェアエンジニアリングの重要な課題です。
GNNは、複雑なリポジトリ全体の依存関係をモデル化できるため、有望な代替手段を提供する。
GREPOは、リポジトリスケールのバグローカライゼーションタスクのための最初のGNNベンチマークである。
論文 参考訳（メタデータ） (2026-02-14T23:22:15Z) - RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository [52.98970048197381]
RepoGenesisは、リポジトリレベルのエンドツーエンドWebマイクロサービス生成のための、最初の多言語ベンチマークである。
18のドメインと11のフレームワークに106のリポジトリ(60のPython、46のJava)があり、1,258のAPIエンドポイントと2,335のテストケースが検証されている。
その結果、高いAC(最大73.91%)とDSR(最大100%)にもかかわらず、最高のパフォーマンスのシステムはPythonで23.67%のPass@1、Javaで21.45%しか達成していないことが明らかになった。
論文 参考訳（メタデータ） (2026-01-20T13:19:20Z) - SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。
従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
論文 参考訳（メタデータ） (2025-05-29T18:28:02Z) - GitGoodBench: A Novel Benchmark For Evaluating Agentic Performance On Git [0.8397730500554048]
GitGoodBenchは、バージョン管理システム(VCS)タスク上でAIエージェントのパフォーマンスを評価するための新しいベンチマークである。
私たちのベンチマークでは、オープンソースのPython、Java、Kotlinリポジトリから抽出された3つのコアGitシナリオについて取り上げています。
我々は、カスタムツールを備えたGPT-4oを用いて、ベンチマークのプロトタイプバージョン上でベースライン性能を確立し、全体的な21.1%の解決率を達成する。
論文 参考訳（メタデータ） (2025-05-28T16:56:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。