論文の概要: TestMap: Evidence Infrastructure for Foundation-Model-Assisted Test Generation

• arxiv url: http://arxiv.org/abs/2606.10211v1
• Date: Mon, 08 Jun 2026 22:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:37.96846
• Title: TestMap: Evidence Infrastructure for Foundation-Model-Assisted Test Generation
• Title（参考訳）: TestMap: ファンデーションモデル支援テスト生成のためのエビデンスインフラストラクチャ
• Authors: Hunter Leary, Luke Hanuska, Chris Brown,
• Abstract要約: 本稿では,C#/.NETリポジトリの基盤モデル支援テスト生成を自動化するオープンソースプロトタイプであるTestMapを提案する。 TestMapは、リポジトリ分析、ソース-テストマッピング、ベースライン実行、コードメトリクス収集、テスト臭いの検出、カバレッジ測定、突然変異テスト、モデル誘導テスト生成、バリデーション、修復、リポジトリ固有の実験追跡をサポートする。
• 参考スコア（独自算出の注目度）: 1.1546538067103256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models (FMs) can generate plausible unit tests, but determining whether those tests are correct, useful, maintainable, and worth integrating remains difficult. Generated tests must be mapped to the code they target, inserted into real projects, built, executed, measured against the baseline suite, repaired when necessary, and compared across models and generation strategies. This validation process is fragmented across build systems, test runners, coverage tools, mutation tools, static analyzers, and experiment scripts. The problem is especially important because generated tests are both code artifacts and validation artifacts: they must themselves be validated before they can be trusted as evidence about the system under test. This paper presents TestMap, an open-source infrastructure prototype that automates evidence-backed foundation-model-assisted test generation for C#/.NET repositories. TestMap supports repository analysis, source-test mapping, baseline execution, code metric collection, test smell detection, coverage measurement, mutation testing, model-guided test generation, validation, repair, and repository-specific experiment tracking. Rather than reporting only final passing tests, TestMap records the lifecycle of each generated candidate, including failed, repaired, low-impact, and evidence positive outcomes. These intermediate outcomes can reveal model limitations, missing context, repair cost, toolchain inefficiencies, or possible faults in the system under test. Using TestMap as a design case, we describe the architecture and evidence model needed to make generated tests observable, repeatable, and comparable across repositories, models, prompts, and generation strategies. We conclude with lessons learned and open challenges, including oracle and assertion quality, metric attribution, test maintainability, flakiness, execution cost, and developer acceptance.
• Abstract（参考訳）: ファンデーションモデル(FM)は、妥当な単体テストを生成することができるが、それらのテストが正しく、有用で、保守可能で、統合に値するかどうかを判断することは難しい。 生成したテストは、ターゲットとするコードにマッピングされ、実際のプロジェクトに挿入され、ビルドされ、実行され、ベースラインスイートに対して測定され、必要に応じて修正され、モデルと生成戦略間で比較されなければなりません。 この検証プロセスは、ビルドシステム、テストランナー、カバレッジツール、突然変異ツール、静的アナライザ、試験スクリプトで断片化されている。 生成したテストはコードアーティファクトとバリデーションアーティファクトの両方であるため、特に問題となる。 本稿では,C#/に対する基盤モデル支援テスト生成を自動化する,オープンソースのインフラストラクチャプロトタイプであるTestMapを提案する。 NETリポジトリ。 TestMapは、リポジトリ分析、ソース-テストマッピング、ベースライン実行、コードメトリクス収集、テスト臭いの検出、カバレッジ測定、突然変異テスト、モデル誘導テスト生成、バリデーション、修復、リポジトリ固有の実験追跡をサポートする。 最終的なパステストのみを報告するのではなく、TestMapは、失敗、修復、低インパクト、証拠陽性の結果を含む、生成された各候補のライフサイクルを記録する。 これらの中間的な結果は、テスト中のシステム内のモデル制限、コンテキストの欠如、修復コスト、ツールチェーンの非効率性、あるいは潜在的な欠陥を明らかにすることができる。 設計ケースとしてTestMapを使用することで、生成されたテストが観測可能で、繰り返し可能で、リポジトリ、モデル、プロンプト、生成戦略に匹敵する、アーキテクチャとエビデンスモデルを記述します。 オラクルやアサーションの品質、メトリクスの属性、テストの保守性、フレキネス、実行コスト、開発者の受け入れなどです。

関連論文リスト

• Improving LLM-Driven Test Generation by Learning from Mocking Information [3.7334264501860375]
  MOCKMILLは開発者が書いたテストから自動的に抽出されたモック情報を利用してテストケースを生成する。 4つの大規模言語モデルを用いて6つのJavaプロジェクトから10のオープンソースクラスでMOCKMILLを評価した。
  論文  参考訳（メタデータ） (2026-04-21T10:24:26Z)
• Code-A1: Adversarial Evolving of Code LLM and Test LLM via Reinforcement Learning [54.95476453942411]
  コード生成のための強化学習は、単体テストのパスレートから検証可能な報酬に依存する。 最近のセルフプレイ手法は、1つのモデルでコードとテスト生成を統合する。 Code-A1は、人間のアノテーションによるテストでトレーニングされたコード生成のパフォーマンスマッチングまたはモデルを超えることを実現する。
  論文  参考訳（メタデータ） (2026-03-16T17:58:13Z)
• LLMs for Automated Unit Test Generation and Assessment in Java: The AgoneTest Framework [2.501198441875755]
  AgoneTestは、Javaにおける大規模言語モデル生成ユニットテストの評価フレームワークである。 コンパイルされるテストのサブセットでは、LLMの生成したテストは、カバレッジと欠陥検出の点で、人間によるテストと一致またはオーバーすることができる。
  論文  参考訳（メタデータ） (2025-11-25T15:33:00Z)
• Intention-Driven Generation of Project-Specific Test Cases [45.2380093475221]
  検証意図の記述からプロジェクト固有のテストを生成するIntentionTestを提案する。 13のオープンソースプロジェクトから4,146件のテストケースで,最先端のベースライン(DA, ChatTester, EvoSuite)に対してIntentionTestを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-07-28T08:35:04Z)
• LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
  LlamaRestTestは、2つのLLM(Large Language Models)を使って現実的なテストインプットを生成する新しいアプローチである。 私たちは、GPTを使った仕様強化ツールであるRESTGPTなど、最先端のREST APIテストツールに対して、これを評価しています。 私たちの研究は、REST APIテストにおいて、小さな言語モデルは、大きな言語モデルと同様に、あるいは、より良く機能することができることを示しています。
  論文  参考訳（メタデータ） (2025-01-15T05:51:20Z)
• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection? [50.53312866647302]
  HateCheckは、合成データに対してきめ細かいモデル機能をテストするスイートである。 GPT-HateCheckは,スクラッチからより多彩で現実的な機能テストを生成するフレームワークである。 クラウドソースのアノテーションは、生成されたテストケースが高品質であることを示しています。
  論文  参考訳（メタデータ） (2024-02-23T10:02:01Z)
• Automatic Generation of Test Cases based on Bug Reports: a Feasibility Study with Large Language Models [4.318319522015101]
  既存のアプローチは、単純なテスト(例えば単体テスト)や正確な仕様を必要とするテストケースを生成する。 ほとんどのテスト手順は、テストスイートを形成するために人間が書いたテストケースに依存しています。 大規模言語モデル(LLM)を活用し,バグレポートを入力として利用することにより,この生成の実現可能性を検討する。
  論文  参考訳（メタデータ） (2023-10-10T05:30:12Z)
• Towards Automatic Generation of Amplified Regression Test Oracles [44.45138073080198]
  回帰テストオラクルを増幅するためのテストオラクル導出手法を提案する。 このアプローチはテスト実行中にオブジェクトの状態を監視し、以前のバージョンと比較して、SUTの意図した振る舞いに関連する変更を検出する。
  論文  参考訳（メタデータ） (2023-07-28T12:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。