論文の概要: Test-Driven Approaches to Software Engineering with Large Language Models: A Survey of Phases, Tasks, and Agent Skills
- arxiv url: http://arxiv.org/abs/2609.12012v1
- Date: Thu, 10 Sep 2026 06:20:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.489113
- Title: Test-Driven Approaches to Software Engineering with Large Language Models: A Survey of Phases, Tasks, and Agent Skills
- Title（参考訳）: 大規模言語モデルによるソフトウェアエンジニアリングに対するテスト駆動アプローチ: フェーズ,タスク,エージェントスキルの調査
- Abstract要約: テストは、大規模言語モデルとソフトウェアエンジニアリングエージェントによる決定にますます参加します。
意図された振る舞い、プログラムの構築と修復のガイド、候補の選択、制約変換、ソフトウェア分析の実行証拠を提供する。
これらは、テスト駆動開発における描画を使用するが、テスト順序、オラクル可用性、編集可能なアーティファクト、実行の役割は大きく異なる。
- 参考スコア（独自算出の注目度）: 14.44743150931186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tests increasingly participate in the decisions made by large language models and software engineering agents. They specify intended behavior, guide program construction and repair, select candidates, constrain transformations, and provide execution evidence for software analysis. These uses draw on test-driven development, yet differ substantially in test order, oracle availability, editable artifacts, and the role of execution. We present a structured scoping survey organized around the question of what decision a test changes. The review integrates 87 research and supporting records, with method- or protocol-level extraction for 83 records, alongside a separate collection of five practice resources. We distinguish the Red--Green--Refactor cycle from test-conditioned generation, execution-guided refinement, test-mediated analysis, and evaluation-only testing. We then compare code generation, repair, translation, refactoring, clone detection, code search, localization, training-data construction, and formal-specification validation. A dedicated analysis examines how agent workflows and reusable skills encode testing procedures and how their effects are evaluated. Across these tasks, the evidence supports treating test availability, test validity, feedback use, and evaluation independence as separate properties. Test passing alone does not establish behavioral equivalence, effective feedback, or process adherence; aggregate improvements can also conceal different outcomes across models, tasks, and denominators. We synthesize these distinctions into a mechanism taxonomy, a cross-task comparison, and a protocol-sensitive evidence analysis, and identify research directions in oracle validation, causal evaluation, long-horizon maintenance, and reusable test-driven agent capabilities
- Abstract（参考訳）: テストは、大規模言語モデルとソフトウェアエンジニアリングエージェントによる決定にますます参加します。
意図された振る舞い、プログラムの構築と修復のガイド、候補の選択、制約変換、ソフトウェア分析の実行証拠を提供する。
これらは、テスト駆動開発における描画を使用するが、テスト順序、オラクル可用性、編集可能なアーティファクト、実行の役割は大きく異なる。
テストがどのような決定を下すかという質問に対して,構造化されたスコーピングサーベイを提示する。
このレビューでは、87の研究とサポート記録、83レコードのメソッドレベルまたはプロトコルレベルの抽出、および5つの実践リソースの別個のコレクションを統合している。
我々は、Red--Green-Refactorサイクルと、テスト条件付き生成、実行誘導改善、テスト媒介分析、評価のみテストとを区別する。
次に、コード生成、修復、翻訳、リファクタリング、クローン検出、コード検索、ローカライゼーション、トレーニングデータ構築、フォーマルな特定検証を比較します。
専門的な分析では、エージェントのワークフローと再利用可能なスキルがどのようにテスト手順をエンコードし、その効果がどのように評価されるかを調べる。
これらのタスク全体で、エビデンスはテストの可用性、テストの妥当性、フィードバックの使用、評価の独立性を別々の特性として扱うことを支援する。
テストパスだけでは、振る舞いの等価性、効果的なフィードバック、プロセスの順守を確立しません。
我々はこれらの区別を機構分類、クロスタスク比較、プロトコル感受性エビデンス分析に合成し、オラクル検証、因果評価、長期維持、再利用可能なテスト駆動エージェント能力の研究方向を特定する。
関連論文リスト
- Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model [0.0]
164の学術作品、100の実践記録、29のベンチマーク記録、17の著者・システム・ケース・レコードを合成する。
構造化されたマルチボーカルレビュー、ターゲットとする更新監査、ソフトウェアエンジニアリングカバレッジ分析、分散システムエビデンス合成として書かれた。
本は、深さ56の信頼性記録と13のリサーチリードを含む、バージョン管理された206の信頼性記録を寄稿している。
論文 参考訳（メタデータ） (2026-08-14T01:34:25Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - TestMap: Evidence Infrastructure for Foundation-Model-Assisted Test Generation [1.1546538067103256]
本稿では,C#/.NETリポジトリの基盤モデル支援テスト生成を自動化するオープンソースプロトタイプであるTestMapを提案する。
TestMapは、リポジトリ分析、ソース-テストマッピング、ベースライン実行、コードメトリクス収集、テスト臭いの検出、カバレッジ測定、突然変異テスト、モデル誘導テスト生成、バリデーション、修復、リポジトリ固有の実験追跡をサポートする。
論文 参考訳（メタデータ） (2026-06-08T22:04:51Z) - From Feelings to Metrics: Understanding and Formalizing How Users Vibe-Test LLMs [48.36707944399574]
バイブテストが実際にどのように機能するかを研究し、その後、体系的な分析を支援するために形式化する。
コーディングベンチマークの実験では、パーソナライズされたプロンプトとユーザ認識評価を組み合わせることで、どのモデルが好まれるかを変更できることがわかった。
論文 参考訳（メタデータ） (2026-04-15T17:57:08Z) - ProdCodeBench: A Production-Derived Benchmark for Evaluating AI Coding Agents [10.578603956693696]
本稿では,ProdCodeBenchを用いて実運用用ベンチマークの計算手法を提案する。
それぞれのキュレートされたサンプルは、7つのプログラミング言語にまたがる冗長なプロンプト、コミットされたコード変更、フェイル・ツー・パステストで構成されている。
4つの基礎モデルの体系的な分析は、53.2%から72.2%の範囲で解決する。
論文 参考訳（メタデータ） (2026-04-02T01:52:55Z) - Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。
我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
論文 参考訳（メタデータ） (2026-03-20T16:27:17Z) - Scaling Agentic Verifier for Competitive Coding [66.11758166379092]
大規模言語モデル(LLM)は強力なコーディング能力を示しているが、1回の試行で競合するプログラミング問題を正しく解くのに苦戦している。
実行ベースの再ランク付けは、有望なテスト時間スケーリング戦略を提供するが、既存のメソッドは、難しいテストケースの生成または非効率的なランダム入力サンプリングによって制約される。
本稿では,プログラムの動作を積極的に推論し,高い差別性のあるテスト入力を検索するエージェント検証手法を提案する。
論文 参考訳（メタデータ） (2026-02-04T06:30:40Z) - Scaling Test-time Compute for LLM Agents [51.790752085445384]
テスト時間計算のスケールアップは、大規模言語モデル(LLM)の推論能力の向上に顕著な成功を収めた。
本研究では,テスト時間スケーリング手法を言語エージェントに適用する最初の体系的な検討を行う。
論文 参考訳（メタデータ） (2025-06-15T17:59:47Z) - Challenges in Testing Large Language Model Based Software: A Faceted Taxonomy [8.927002750209295]
LLM(Large Language Models)とMulti-Agent LLM(MALLMs)は、従来の機械学習ソフトウェアとは異なり、非決定性を導入している。
本稿では,LLMテストケース設計のための分類法について述べる。
論文 参考訳（メタデータ） (2025-03-01T13:15:56Z) - Test Case Recommendations with Distributed Representation of Code
Syntactic Features [2.225268436173329]
本稿では,ソースコード手法とテストケースの構造的・意味的特性を利用する自動手法を提案する。
提案するアプローチは、当初、メソッドレベルのソースコードとユニットテストを分散表現に変換するためにニューラルネットワークをトレーニングする。
このモデルは、メソッドの埋め込みと以前に組み込まれたトレーニングインスタンスのコサイン類似性を計算します。
論文 参考訳（メタデータ） (2023-10-04T21:42:01Z) - ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。
これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。
本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
論文 参考訳（メタデータ） (2022-12-15T15:52:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。