論文の概要: CodeSpecBench: Benchmarking LLMs for Executable Behavioral Specification Generation

• arxiv url: http://arxiv.org/abs/2604.12268v1
• Date: Tue, 14 Apr 2026 04:31:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.2351
• Title: CodeSpecBench: Benchmarking LLMs for Executable Behavioral Specification Generation
• Title（参考訳）: CodeSpecBench: 実行可能な振る舞い仕様生成のためのLLMのベンチマーク
• Authors: Zaoyu Chen, Jianbo Dai, Boyu Zhu, Jingdong Wang, Huiming Wang, Xin Xu, Haoyang Yuan, Zhijiang Guo, Xiao-Ming Wu,
• Abstract要約: 本稿では,実行ベース評価プロトコルの下で実行可能な動作仕様生成のためのベンチマークであるCodeSpecBenchを紹介する。 CodeSpecBenchは関数レベルとリポジトリレベルのタスクの両方をサポートし、仕様を実行可能なPython関数としてエンコードする。 リポジトリレベルのタスクでは、最高のモデルが20.2%のパス率しか達成できないため、パフォーマンスが大幅に低下するのを観察します。
• 参考スコア（独自算出の注目度）: 49.30536937161147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can generate code from natural language, but the extent to which they capture intended program behavior remains unclear. Executable behavioral specifications, defined via preconditions and postconditions, provide a concrete means to assess such understanding. However, existing work on specification generation is constrained in evaluation methodology, task settings, and specification expressiveness. We introduce CodeSpecBench, a benchmark for executable behavioral specification generation under an execution-based evaluation protocol. CodeSpecBench supports both function-level and repository-level tasks and encodes specifications as executable Python functions. Constructed from diverse real-world codebases, it enables a realistic assessment of both correctness (accepting valid behaviors) and completeness (rejecting invalid behaviors). Evaluating 15 state-of-the-art LLMs on CodeSpecBench, we observe a sharp performance degradation on repository-level tasks, where the best model attains only a 20.2% pass rate. We further find that specification generation is substantially more challenging than code generation, indicating that strong coding performance does not necessarily reflect deep understanding of intended program semantics. Our data and code are available at https://github.com/SparksofAGI/CodeSpecBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語からコードを生成することができるが、意図したプログラムの振る舞いをキャプチャする範囲は未定である。 事前条件と事後条件によって定義された実行可能な行動仕様は、そのような理解を評価する具体的な手段を提供する。 しかし、既存の仕様生成の作業は評価方法論、タスク設定、仕様表現性に制約がある。 本稿では,実行ベース評価プロトコルの下で実行可能な動作仕様生成のためのベンチマークであるCodeSpecBenchを紹介する。 CodeSpecBenchは関数レベルとリポジトリレベルのタスクの両方をサポートし、仕様を実行可能なPython関数としてエンコードする。 さまざまな現実世界のコードベースから構築され、正確さ(有効な振る舞いを受け入れる)と完全さ(無効な振る舞いを拒絶)の両方を現実的に評価することができる。 CodeSpecBench上での15の最先端LCMを評価し、最高のモデルが20.2%のパス率しか達成できないリポジトリレベルのタスクのパフォーマンス低下を観察する。 さらに、コード生成よりも仕様生成がかなり難しいことが分かり、強力なコーディング性能は、意図したプログラムセマンティクスの深い理解を必ずしも反映していないことを示す。 私たちのデータとコードはhttps://github.com/SparksofAGI/CodeSpecBench.orgで公開されています。

関連論文リスト

• CodeAlignBench: Assessing Code Generation Models on Developer-Preferred Code Adjustments [1.3999481573773072]
  本稿では,命令追従機能の評価を行うマルチ言語ベンチマークを提案する。 本ベンチマークでは、初期問題に規定された事前定義された制約の順守と、フォローアップ命令に基づいて改善を行う能力の2つの主要な設定で命令に従うことを評価する。
  論文  参考訳（メタデータ） (2025-10-31T15:47:07Z)
• Gistify! Codebase-Level Understanding via Runtime Execution [97.63528391679807]
  Gistifyは、コーディング LLM が特定の機能を再現できる単一で最小限の自己完結型ファイルを作成する必要があるタスクである。 現在の最先端モデルは、Gistifyタスク、特に長時間実行のあるタスクを確実に解くのに苦労している。
  論文  参考訳（メタデータ） (2025-10-30T17:58:26Z)
• IFEvalCode: Controlled Code Generation [69.28317223249358]
  本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-30T08:08:48Z)
• VERINA: Benchmarking Verifiable Code Generation [46.582574591358735]
  大規模言語モデル(LLM)は、ソフトウェア開発にますます統合されている。 LLM生成コードの正確性を保証することは依然として困難である。 検証可能なコード生成は、この制限に対処するための有望なパスを提供する。
  論文  参考訳（メタデータ） (2025-05-29T06:12:52Z)
• ReCode: Robustness Evaluation of Code Generation Models [90.10436771217243]
  コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。 ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。 ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
  論文  参考訳（メタデータ） (2022-12-20T14:11:31Z)
• ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
  本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。 我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。