論文の概要: Prompt Coverage Adequacy

• arxiv url: http://arxiv.org/abs/2607.02057v1
• Date: Thu, 02 Jul 2026 11:35:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.816261
• Title: Prompt Coverage Adequacy
• Title（参考訳）: Prompt Coverage Adequacy
• Abstract要約: 大規模言語モデル(LLM)と自律エージェントは、ソフトウェア開発における抽象化のレベルを高めます。 このパラダイムシフトは、コードではなくプロンプトが主要な開発アーティファクトになるときに、テストをどのようにガイドすべきかという、新たな課題を導入します。 本稿では,タスク記述から生成されたコードのテストを支援する新しいカバレッジ基準であるPrompt Coverage Adequacyを提案する。
• 参考スコア（独自算出の注目度）: 10.326615143688482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, it has become increasingly evident that large language models (LLMs) and autonomous agents raise the level of abstraction in software development by shifting the focus from writing precise procedures to expressing intents and goals. This paradigm shift introduces new challenges, particularly in how testing should be guided when prompts, rather than code, become primary development artifacts. To address this challenge, we propose Prompt Coverage Adequacy, a novel coverage criterion designed to support the testing of code generated from task descriptions. Prompt Coverage Adequacy serves as an analog to traditional code coverage, but operates at the level of prompts used in LLM and agent-based programming. Specifically, it measures how well a given test suite satisfies the requirements expressed in a prompt by leveraging the attention mechanisms of LLMs. We evaluate a simple instantiation of this criterion, based on attention boosting, across two datasets and multiple LLMs. Our results demonstrate that Prompt Coverage is associated with fault-detection effectiveness and can uncover over 30+% more faults than traditional code coverage when used to guide test generation. These findings suggest that Prompt Coverage Adequacy can serve as a foundation for developing testing metrics better suited to the emerging paradigm of LLM-driven software development, addressing the limitations of classical coverage criteria in this new context.
• Abstract（参考訳）: 近年,大規模言語モデル(LLM)や自律エージェントが,正確な手順の記述から意図や目標の表現へと焦点を移すことによって,ソフトウェア開発における抽象化のレベルを上昇させることが,ますます明白になっている。 このパラダイムシフトは、特にコードではなくプロンプトが開発アーティファクトになるときにテストをどのようにガイドすべきかという点において、新しい課題を導入します。 この課題に対処するために,タスク記述から生成されたコードのテストを支援する新しいカバレッジ基準であるPrompt Coverage Adequacyを提案する。 Prompt Coverage Adequacyは従来のコードカバレッジのアナログとして機能するが、LLMやエージェントベースのプログラミングで使われるプロンプトのレベルで動作する。 具体的には、LLMの注意機構を活用することにより、与えられたテストスイートがプロンプトで表現された要求をどの程度満足するかを測定する。 我々は,2つのデータセットと複数のLPMをまたいだ注意喚起に基づいて,この基準の簡易なインスタンス化を評価する。 この結果から, Prompt Coverageは欠陥検出の有効性と相関し, テスト生成のガイドとして使用する場合, 従来のコードカバレッジよりも30%以上の障害を発見できることがわかった。 これらの結果から,PLM駆動ソフトウェア開発の新たなパラダイムに適合するテスト指標の開発基盤として,Prompt Coverage Adequacyが有効であることが示唆された。

関連論文リスト

• ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
  我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。 ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。 1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
  論文  参考訳（メタデータ） (2026-07-01T09:58:59Z)
• Enhancing LLM-Based Test Generation by Eliminating Covered Code [2.2566909388480743]
  大規模言語モデル(LLM)は、テスト生成を改善することを約束している。 スケーラブルなLLMベースの単体テスト生成法を提案する。 提案手法は,最先端のLCM法および検索法より優れている。
  論文  参考訳（メタデータ） (2026-02-25T15:16:43Z)
• Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol [83.83217247686402]
  大言語モデル(LLM)は、単純なテキストジェネレータから、検索強化、ツール呼び出し、マルチターンインタラクションを統合する複雑なソフトウェアシステムへと進化してきた。 その固有の非決定主義、ダイナミズム、文脈依存は品質保証に根本的な課題をもたらす。 本稿では,LLMアプリケーションを3層アーキテクチャに分解する: textbftextitSystem Shell Layer, textbftextitPrompt Orchestration Layer, textbftextitLLM Inference Core。
  論文  参考訳（メタデータ） (2025-08-28T13:00:28Z)
• AetherCode: Evaluating LLMs' Ability to Win In Premier Programming Competitions [37.21656149034477]
  競合プログラミングは、LLM(Large Language Models)の推論とコーディング能力を評価するための重要なベンチマークとして登場した。 現在の評価は、LLMとエリートな人間プログラマの間にかなりのギャップを隠蔽する、状態モデル習熟度を超越している、と我々は主張する。 我々は、IOIやI CPCといった主要なプログラミングコンペティションから問題を引き出す新しいベンチマークであるAetherCodeを紹介する。
  論文  参考訳（メタデータ） (2025-08-22T14:04:55Z)
• Uncovering Systematic Failures of LLMs in Verifying Code Against Natural Language Specifications [0.6813925418351435]
  大規模言語モデル(LLM)はソフトウェア開発において不可欠なツールとなり、要求工学、コード生成、レビュータスクに広く利用されている。 本稿では,LLMが自然言語の要求に適合するかどうかを評価する上で,体系的に失敗していることを明らかにする。 以上の結果から,LCMは要件を満たすことのできないコード実装や潜在的な欠陥を含むコード実装を誤って分類することが多いことが判明した。
  論文  参考訳（メタデータ） (2025-08-17T13:07:26Z)
• MERA Code: A Unified Framework for Evaluating Code Generation Across Tasks [56.34018316319873]
  我々は,最新のLLMをロシア語で評価するためのベンチマークであるMERA Codeを提案する。 このベンチマークには、8つのプログラミング言語にまたがる11の評価タスクが含まれている。 我々はオープンなLLMとフロンティアAPIモデルを評価し、非英語言語における実用的なコーディングタスクの観点からそれらの制限を分析した。
  論文  参考訳（メタデータ） (2025-07-16T14:31:33Z)
• AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
  LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。 AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T17:31:10Z)
• Tests as Prompt: A Test-Driven-Development Benchmark for LLM Code Generation [1.7268889851975326]
  私たちは、テスト駆動開発(TDD)タスクにおいて、大規模言語モデル(LLM)を評価するための新しいベンチマークであるWebApp1Kを紹介します。 自然言語のプロンプトに依存する従来のアプローチとは異なり、我々のベンチマークでは、LLMがテストケースから直接機能を解釈し実装する能力を強調しています。
  論文  参考訳（メタデータ） (2025-05-13T23:47:12Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
  本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。 間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。 本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• Advancing Code Coverage: Incorporating Program Analysis with Large Language Models [8.31978033489419]
  難解な分岐に到達可能なテストを生成する新しい技術である TELPA を提案する。 27のオープンソースPythonプロジェクトに対する実験結果から,TELPAは最先端のSBSTやLLMベースの技術よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-04-07T14:08:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。