論文の概要: Specification-Driven Benchmarking for Automated Program Repair From Static Corpora to Executable Specifications

• arxiv url: http://arxiv.org/abs/2609.28896v1
• Date: Thu, 24 Sep 2026 01:18:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.637094
• Title: Specification-Driven Benchmarking for Automated Program Repair From Static Corpora to Executable Specifications
• Title（参考訳）: 静的コーパスから実行可能な仕様への自動プログラム修正のための仕様駆動ベンチマーク
• Abstract要約: 本稿では,ベンチマークが実行可能な仕様によって定義され,ベンチマーク生成を通じて実現されるパラダイムである,仕様駆動型ベンチマークを提案する。 提案したパラダイムは、ベンチマーク構築をアーティファクトキュレーションから宣言的実験設計にシフトさせる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Program Repair (APR) benchmarks have traditionally been constructed as static datasets whose characteristics are inherited from the defects they contain. While this paradigm has enabled decades of progress, finite corpora provide limited experimental control, become increasingly susceptible to contamination as they are reused, and cannot be systematically regenerated or adapted as evaluation requirements evolve. We propose specification-driven benchmarking, a paradigm in which benchmarks are defined by executable specifications and realized through benchmark generation. The specification explicitly declares the intended properties of the benchmark (including program context, fault taxonomy, difficulty, validation strategy, and corpus constraints) while a generation pipeline realizes those requirements through independent generation, validation, and corpus management components. We develop the conceptual foundations of this approach by introducing a taxonomy of benchmark specification dimensions, establishing how each specification dimension maps to deterministic architectural responsibilities, and arguing that independent validation is a structural requirement for trustworthy benchmark generation. An end-to-end example illustrates how specification choices propagate through the pipeline to produce benchmark instances whose properties are independently verifiable. By treating the benchmark as an executable specification rather than a static dataset, the proposed paradigm shifts benchmark construction from artifact curation to declarative experimental design.
• Abstract（参考訳）: 自動プログラム修復(APR)ベンチマークは、伝統的に静的なデータセットとして構築されてきた。 このパラダイムは何十年にもわたって進歩してきたが、有限コーパスは限定的な実験的な制御を提供し、再利用されるにつれて汚染を受けやすくなり、評価要求が進化するにつれて体系的に再生または適応することができない。 本稿では,ベンチマークが実行可能な仕様によって定義され,ベンチマーク生成を通じて実現されるパラダイムである,仕様駆動型ベンチマークを提案する。 この仕様は、ベンチマークの意図した特性(プログラムコンテキスト、フォールト分類、難易度、検証戦略、コーパス制約を含む)を明示的に宣言し、生成パイプラインは独立した生成、検証、コーパス管理コンポーネントを通じてこれらの要求を実現する。 我々は、ベンチマーク仕様の分類を導入し、各仕様次元が決定論的アーキテクチャ責任にどう対応しているかを確立し、独立した検証が信頼できるベンチマーク生成のための構造的要件であると主張することによって、このアプローチの概念的基盤を開発する。 エンドツーエンドの例は、仕様の選択がパイプラインを通じて伝播し、独立して検証可能なベンチマークインスタンスを生成する方法を示している。 ベンチマークを静的データセットではなく実行可能な仕様として扱うことで、提案したパラダイムは、ベンチマークの構築をアーティファクトキュレーションから宣言的な実験的設計にシフトする。

関連論文リスト

• A Framework for Generating Valid Context-Specific Benchmarks through Expert Guidance [8.655727081754241]
  本稿では,文脈依存型大規模言語モデル(LLM)ベンチマークデータセットを生成するためのエンドツーエンドアプローチを提案する。 本稿では,評価課題の目標,スコープ,コンテキストに関する重要な情報を抽出するスキーマを導入し,この情報を用いて合成データ生成のガイドを行う。 専門家インフォームド足場が、より有効なベンチマークに向けて、どのように合成データ生成を導くかを示す。
  論文  参考訳（メタデータ） (2026-09-15T03:36:35Z)
• Embodied-BenchForge: A Closed-Loop Agentic Workflow for Embodied Benchmark Construction [18.03387691479464]
  Embodied-BenchForgeは、ユーザが指定した評価意図を完全なベンチマークアーティファクトに変換するエージェントフレームワークである。 クローズドループベンチマーク合成として構築を定式化し、前方のアーティファクトと後方の検証と修復を統合する。
  論文  参考訳（メタデータ） (2026-09-11T17:16:01Z)
• SpecAlign: Efficient Specification-Grounded Alignment of Large Language Models via Synthetic Data [46.83043333985018]
  我々は、プロバイダが承認したモデル仕様を主アライメントターゲットとして扱う新しいアライメントパラダイムである仕様基底アライメントを提案する。 仕様文書から直接アライメントデータを合成するフレームワークであるSpecAlignを紹介する。
  論文  参考訳（メタデータ） (2026-06-15T06:30:52Z)
• Interactive Evaluation Requires a Design Science [90.62695599188204]
  大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。 フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。 本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
  論文  参考訳（メタデータ） (2026-05-18T04:03:18Z)
• AlphaEval: Evaluating Agents in Production [32.52315519888507]
  AlphaEvalは、コアビジネスにAIエージェントをデプロイする7つの企業から提供された94のタスクを、実運用環境でベンチマークしたものです。 モデル中心のベンチマークとは異なり、AlphaEvalは完全なエージェント製品を商用システムとして評価し、モデルレベルの評価には見えないパフォーマンスを捉えている。
  論文  参考訳（メタデータ） (2026-04-14T00:43:20Z)
• SEOE: A Scalable and Reliable Semantic Evaluation Framework for Open Domain Event Detection [70.23196257213829]
  オープンドメインイベント検出のためのスケーラブルで信頼性の高いセマンティックレベルの評価フレームワークを提案する。 提案フレームワークはまず,現在7つの主要ドメインをカバーする564のイベントタイプを含む,スケーラブルな評価ベンチマークを構築した。 次に,大言語モデル(LLM)を自動評価エージェントとして活用し,意味的類似ラベルのきめ細かい定義を取り入れた意味的F1スコアを計算する。
  論文  参考訳（メタデータ） (2025-03-05T09:37:05Z)
• StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
  StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。 評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。 StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
  論文  参考訳（メタデータ） (2024-12-23T22:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。