論文の概要: SIEVE: A Parameterized GitHub Corpus Builder for Software Engineering Research

• arxiv url: http://arxiv.org/abs/2610.22544v1
• Date: Thu, 15 Oct 2026 18:42:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.631786
• Title: SIEVE: A Parameterized GitHub Corpus Builder for Software Engineering Research
• Title（参考訳）: SIEVE: ソフトウェアエンジニアリング研究のためのパラメータ化されたGitHub Corpus Builder
• Abstract要約: SIEVE(Software Ingestion & extract for Verifiable Evaluation)は、オープンソースのパラメータ化GitHubコーパスビルダーである。 リポジトリ内の個々の関数、メソッド、クラスを特定し、それらをレコードとして抽出する。 プログラミング言語(Python、Java、JavaScript、C++)、リポジトリの品質、作成日など、いくつかの基準に基づいて、コーパスの構築を直接制御する。
• 参考スコア（独自算出の注目度）: 3.2498534294827053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software engineering research increasingly relies on large, richly annotated corpora of real-world code. Still, researchers typically assemble these with ad-hoc scripts or static, pre-built datasets that offer no control over corpus composition. This leaves a gap for a reusable tool that goes below the repository level and builds annotated, function- and class-level code corpora under researcher-specified criteria. We present SIEVE (Software Ingestion & Extraction for Verifiable Evaluation), an open-source, parameterized GitHub corpus builder that, unlike repository-level mining tools, works at code granularity: it locates individual functions, methods, and classes in repositories and extracts them as records, giving direct control over corpus construction based on several criteria, including widely used programming languages (Python, Java, JavaScript, C++), repository quality, and creation date. To support software engineering research and LLM evaluation on real-world code, SIEVE extracts CodeSearchNet- and OpenClassGen-compatible records, each annotated with 22 structural metrics and AST-derived features, and optionally with a CodeBERT-based P(AI-generated) score (F1=0.9478, AUROC=0.9902), alongside the third-party dependencies declared in each repository's package manifest. These annotations enable researchers to conduct structural analyses, investigate code dependencies, assess AI-generated code, and construct customized benchmarks for evaluating LLMs, including under temporal constraints. A manual validation of 400 records in four languages and two granularities shows 100% accuracy in code metrics and import detection, 99.0% in source completeness, and 99.5% in metadata accuracy. SIEVE is publicly available with a live demo at https://mrahman2025-sieve.hf.space.
• Abstract（参考訳）: ソフトウェア工学の研究はますます、実世界のコードの大規模で豊富な注釈付きコーパスに依存している。 それでも研究者は通常、これらをアドホックなスクリプトや、コーパスの構成を制御できない静的でプレビルドされたデータセットで組み立てる。 これはレポジトリレベルを下回り、研究者が指定した基準の下でアノテーション付き、関数レベルのコードコーパスを構築する再利用可能なツールのギャップを残します。 SIEVE(Software Ingestion & extract for Verifiable Evaluation)は、リポジトリレベルのマイニングツールとは異なり、コードの粒度で機能するオープンソースのGitHubコーパスビルダーで、リポジトリ内の個々の関数、メソッド、クラスを特定し、レコードとして抽出し、広く使われているプログラミング言語(Python、Java、JavaScript、C++)、リポジトリの品質、作成日時など、いくつかの基準に基づいてコーパス構築を直接制御する。 SIEVEは、現実世界のコード上でのソフトウェアエンジニアリングの研究とLLM評価をサポートするため、CodeSearchNetとOpenClassGen互換のレコードを抽出し、22の構造化メトリクスとAST由来のフィーチャを注釈付けし、オプションとしてCodeBERTベースのP(AI生成)スコア(F1=0.9478, AUROC=0.9902)を、各リポジトリのパッケージマニフェストに宣言されたサードパーティの依存関係と共に抽出する。 これらのアノテーションにより、研究者は構造解析を行い、コード依存関係を調査し、AI生成したコードを評価し、時間的制約を含むLSMを評価するためのカスタマイズされたベンチマークを構築することができる。 4つの言語と2つの粒度の400レコードのマニュアルによる検証では、コードメトリクスとインポート検出における100%の精度、ソースの完全性99.0%、メタデータの正確性99.5%が示されている。 SIEVEはhttps://mrahman2025-sieve.hf.space.comで公開されている。

関連論文リスト

• ReCUBE: Evaluating Repository-Level Context Utilization in Code Generation [7.907933839674293]
  大規模言語モデル(LLM)は、エージェント探索またはフルコンテキスト生成を通じて大規模で動作する有能なコーディングアシスタントとして登場した。 ReCUBEは,LLMが残されているすべてのソースファイル,依存関係仕様,ドキュメントをコンテキストの唯一のソースとして使用して,実世界のリポジトリ内でマスクされたファイルを再構築するベンチマークである。 本稿では,エージェントフレームワークに統合可能な依存グラフベースのツールセットであるCaller-Centric Exploration (CCE)ツールキットを提案する。
  論文  参考訳（メタデータ） (2026-03-26T08:04:15Z)
• Repository Intelligence Graph: Deterministic Architectural Map for LLM Code Assistants [0.0]
  リポジトリを意識したコーディングエージェントは、しばしばビルドとテストの構造を回復するのに苦労する。 私たちは、ビルド可能なコンポーネント、アグリゲータ、ランナー、テスト、外部パッケージ、パッケージマネージャを表す決定論的、エビデンスを背景としたアーキテクチャマップであるRepository Intelligence Graph(RIG)を紹介します。 Claude Code、Cursor、Codexの3つの商用エージェントを、現実世界のMetaFFIプロジェクトを含む、低から高ビルドの複雑さにまたがる8つのリポジトリで評価します。
  論文  参考訳（メタデータ） (2026-01-15T06:42:45Z)
• A Large-scale Class-level Benchmark Dataset for Code Generation with LLMs [3.458772578520879]
  我々は、13,174ドルのオープンソースのプロジェクトから収集した大規模なPythonクラスレベルのデータセットを紹介します。 データセットには842,000以上のクラススケルトンが含まれている。 抽出されたクラススケルトンを,全クラス実装を生成するためのGPT-4のプロンプトとして使用する。 その結果, LLM 生成クラスは, 平均 ROUGE@L, BLEU, TSED スコア0.80, 0.59, 0.73 と強い語彙的および構造的類似性を示した。
  論文  参考訳（メタデータ） (2025-04-22T03:33:57Z)
• SWE-PolyBench: A multi-language benchmark for repository level evaluation of coding agents [49.73885480071402]
  我々はSWE-PolyBenchを紹介した。SWE-PolyBenchは、コードエージェントのリポジトリレベル、実行ベース評価のための新しいベンチマークである。 SWE-PolyBenchには21のリポジトリから2110のインスタンスが含まれており、Java(165)、JavaScript(1017)、TypeScript(729)、Python(199)のタスクが含まれており、バグ修正、機能追加、コードを含んでいる。 実験の結果,現在のエージェントは言語間で不均一なパフォーマンスを示し,複雑な問題に対処しつつ,単純なタスクで高いパフォーマンスを示すことがわかった。
  論文  参考訳（メタデータ） (2025-04-11T17:08:02Z)
• Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
  Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
  論文  参考訳（メタデータ） (2024-10-02T09:11:10Z)
• Alibaba LingmaAgent: Improving Automated Issue Resolution via Comprehensive Repository Exploration [64.19431011897515]
  本稿では,問題解決のためにソフトウェアリポジトリ全体を包括的に理解し,活用するために設計された,新しいソフトウェアエンジニアリング手法であるAlibaba LingmaAgentを提案する。 提案手法では,重要なリポジトリ情報を知識グラフに凝縮し,複雑さを低減し,モンテカルロ木探索に基づく戦略を採用する。 Alibaba Cloudの製品展開と評価において、LingmaAgentは、開発エンジニアが直面した社内問題の16.9%を自動で解決し、手作業による介入で43.3%の問題を解決した。
  論文  参考訳（メタデータ） (2024-06-03T15:20:06Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Topical: Learning Repository Embeddings from Source Code using Attention [3.110769442802435]
  本稿では,リポジトリレベルの埋め込みのための新しいディープニューラルネットワークであるTopicalを提案する。 attentionメカニズムはソースコード、フル依存グラフ、スクリプトレベルのテキストデータからリポジトリレベルの表現を生成する。
  論文  参考訳（メタデータ） (2022-08-19T18:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。