論文の概要: BenchMeUp: Building Software Engineering Benchmarks from Natural-Language Specifications

• arxiv url: http://arxiv.org/abs/2610.37283v1
• Date: Tue, 27 Oct 2026 14:09:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.652504
• Title: BenchMeUp: Building Software Engineering Benchmarks from Natural-Language Specifications
• Title（参考訳）: BenchMeUp: 自然言語仕様によるソフトウェアエンジニアリングベンチマークの構築
• Abstract要約: BenchMeUpは、自然言語仕様からソフトウェアエンジニアリングベンチマークを自動的に作成するアプローチである。 プログラム修復,問題再現,コンパイラ自動チューニング,静的解析警告の修正という4つのタスクに対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 17.975121612118752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software-engineering research relies on benchmarks that evaluate new techniques on a set of problem instances. Unfortunately, manually constructing benchmarks is labor-intensive, as researchers must find suitable instances, prepare execution environments, establish expected outcomes, and validate correctness. This paper presents BenchMeUp, an approach for automatically creating software-engineering benchmarks from natural-language specifications. Given a specification defining the desired instances, data sources, and evaluation procedures, BenchMeUp generates search rules and a construction plan, invokes parallel LLM agents that identify candidate instances and construct executable instances, validates the results in fresh execution environments, and packages the instances behind a unified command-line interface. We evaluate the approach on four tasks: program repair, issue reproduction, compiler autotuning, and fixing static-analysis warnings. Targeting 50 instances per task (200 in total), BenchMeUp constructs 198 instances, of which 196 (99\%) are successfully packaged. Search and construction take 36 minutes and \$0.79 per instance, on average. Evaluating eight existing techniques on the generated benchmarks, we find that 189 of 196 packaged instances (96\%) support end-to-end evaluation, allowing users to study the effectiveness of the techniques. Checking every constructed instance against its source, the specification, and its expected outcome, we find that 180 of 198 (91\%) meet all criteria, compared with 10 of 200 instances delivered by Codex (general-purpose coding agent). Overall, we show that LLM-based agents can automate benchmark construction across diverse software-engineering tasks and produce executable instances that existing techniques can use, while validity beyond execution still needs to be checked.
• Abstract（参考訳）: ソフトウェアエンジニアリングの研究は、一連の問題インスタンスで新しいテクニックを評価するベンチマークに依存している。 研究者は適切なインスタンスを見つけ、実行環境を準備し、期待される結果を確立し、正当性を検証する必要がある。 本稿では,自然言語仕様からソフトウェアエンジニアリングベンチマークを自動生成するアプローチであるBenchMeUpを提案する。 所望のインスタンス、データソース、評価手順を定義する仕様が与えられた場合、BenchMeUpは検索ルールと構築計画を生成し、候補インスタンスを特定し、実行可能なインスタンスを構築するための並列LLMエージェントを起動し、新鮮な実行環境で結果を検証し、統一されたコマンドラインインターフェースの背後にインスタンスをパッケージ化する。 プログラム修復,問題再現,コンパイラ自動チューニング,静的解析警告の修正という4つのタスクに対するアプローチを評価した。 1タスクあたり50インスタンス(合計200インスタンス)を対象として、BenchMeUpは198インスタンスを構築し、そのうち196インスタンス(99\%)がうまくパッケージ化されている。 検索と構築には平均36分、インスタンスあたり0.79ドルがかかる。 生成されたベンチマークで既存の8つのテクニックを評価すると、196のパッケージ化されたインスタンス(96\%)のうち189がエンドツーエンドの評価をサポートし、ユーザがそのテクニックの有効性を調査できることがわかった。 Codex(汎用コーディングエージェント)が提供した200インスタンス中10インスタンスと比較すると,ビルド済みインスタンスのソース,仕様,および期待される結果に対して,198インスタンス中180インスタンス(91\%)がすべての基準を満たしていることがわかった。 全体として、LCMベースのエージェントは、様々なソフトウェアエンジニアリングタスク間でベンチマーク構築を自動化し、既存のテクニックが利用できる実行可能なインスタンスを生成することができるが、実行以上の妥当性を検査する必要がある。

関連論文リスト

• Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows [74.39138492851343]
  大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われている。 ローカルオープンウェイトエージェントが正しい再現可能なデータエンジニアリングアーティファクトを作成できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-10-08T08:26:46Z)
• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• ProgramBench: Can Language Models Rebuild Programs From Scratch? [59.40748183470308]
  ProgramBenchは、ソフトウェアエンジニアリングエージェントがソフトウェアをホリシックに開発する能力を測定する。 エンドツーエンドの動作テストはエージェント駆動ファジィによって生成される。 モデルは、人間が書いたコードと大きく異なるモノリシックでシングルファイルの実装を好む。
  論文  参考訳（メタデータ） (2026-05-05T09:17:02Z)
• Compiled AI: Deterministic Code Generation for LLM-Based Workflow Automation [3.225273674498579]
  我々は,大言語モデルがコンパイルフェーズ中に実行可能なコードアーティファクトを生成するパラダイムであるコンパイルAIについて研究し,その後,さらなるモデル実行を必要とせずに決定的に実行する。 当社のコントリビューションは、ハイテイクなランタイムエンタープライズへの適用に関するシステム指向の研究です。
  論文  参考訳（メタデータ） (2026-04-06T20:25:20Z)
• ProdCodeBench: A Production-Derived Benchmark for Evaluating AI Coding Agents [10.578603956693696]
  本稿では,ProdCodeBenchを用いて実運用用ベンチマークの計算手法を提案する。 それぞれのキュレートされたサンプルは、7つのプログラミング言語にまたがる冗長なプロンプト、コミットされたコード変更、フェイル・ツー・パステストで構成されている。 4つの基礎モデルの体系的な分析は、53.2%から72.2%の範囲で解決する。
  論文  参考訳（メタデータ） (2026-04-02T01:52:55Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
  本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。 ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
  論文  参考訳（メタデータ） (2025-02-12T21:42:56Z)
• Benchmarking Generalization via In-Context Instructions on 1,600+ Language Tasks [95.06087720086133]
  Natural-Instructions v2 は 1,600 以上の多種多様な言語タスクとその専門家による命令のコレクションである。 ベンチマークでは、タグ付け、インフィル、書き換えなど、70以上の異なるタスクタイプがカバーされている。 このベンチマークにより、モデルのクロスタスク一般化の大規模評価が可能になる。
  論文  参考訳（メタデータ） (2022-04-16T03:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。