論文の概要: Can AI Guide Testing Without Generating Tests? A Comparative Study of AI-Assisted Unit Testing

• arxiv url: http://arxiv.org/abs/2610.36185v1
• Date: Mon, 26 Oct 2026 19:18:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.409647
• Title: Can AI Guide Testing Without Generating Tests? A Comparative Study of AI-Assisted Unit Testing
• Title（参考訳）: テストの生成を伴わないAIガイドテストは可能か?AI支援単体テストの比較研究
• Abstract要約: 私たちは、テストを生成することなく、学生のテストスイートの弱点に対するターゲットフィードバックを提供する、ジェネレーティブなAIチューターであるTestを紹介します。 教室で18人の学生を対象に,2つのJavaユニットテスティングタスクに対して,テストと汎用AIアシスタントを比較した。 その結果、汎用AIアシスタントを使用する参加者は、より多くのテストを生成する一方で、テスト参加者は、テストの開発と検証により多くの時間を費やした。
• 参考スコア（独自算出の注目度）: 4.9844787459676185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in generative AI have enabled assistants to generate increasingly sophisticated executable unit tests. However, novices may accept these outputs without independently identifying what to test, evaluating test-suite completeness, or verifying correctness, potentially limiting opportunities to develop essential testing skills. Although prior work has explored AI-assisted test generation and feedback-oriented programming tutors, little is known about whether AI can support novices' testing practices without generating tests for them. To investigate this, we introduce TestCompass, a generative AI tutor that provides targeted feedback on weaknesses in students' test suites without generating executable tests. In a classroom study with 18 students, we compared TestCompass with a general AI assistant across two Java unit-testing tasks, examining students' testing behaviors, test-suite quality, and subjective experiences. We found that participants using the general-purpose AI assistant produced more tests, whereas TestCompass participants spent more time developing and verifying tests themselves. However, most test-suite quality measures were comparable between conditions, and TestCompass participants achieved similar requirement coverage with significantly fewer test methods ($p=0.012$) in one task. Neither group reported short-term improvements in perceived testing knowledge or confidence. These findings suggest that feedback-oriented AI can support meaningful testing outcomes while preserving opportunities for hands-on testing practice, offering a complementary approach to AI-assisted testing education.
• Abstract（参考訳）: 生成AIの最近の進歩により、アシスタントはますます洗練された実行可能な単体テストを生成することができる。 しかしながら、初心者は、テストするべきものを独立して特定したり、テストに適した完全性を評価したり、正しさを検証することなく、これらのアウトプットを受け入れることができ、本質的なテストスキルを開発する機会を制限する可能性がある。 以前の研究では、AIによるテスト生成とフィードバック指向のプログラミングチューターについて検討していたが、AIが初心者のテストプラクティスをサポートすることができるかどうかについては、テストを生成することなく、ほとんど分かっていない。 そこで本研究では,テストスイートの弱点に対する目標フィードバックを,実行可能テストを生成することなく提供する,生成型AIチュータであるTestCompassを紹介する。 学生18名の教室で、テストコンパスと一般AIアシスタントを2つのJava単体テストタスクで比較し、学生のテスト行動、テスト適性、主観的体験を検討した。 一方、TestCompassの参加者はテスト自体の開発と検証により多くの時間を費やした。 しかし、ほとんどのテストに適した品質基準は条件間で同等であり、TestCompassの参加者は1つのタスクでテストメソッド(p=0.012$)をはるかに少なくして、同様の要件カバレッジを達成した。 いずれのグループは、テストの知識や信頼性に対する短期的な改善も報告していない。 これらの結果は、フィードバック指向AIが有意義なテスト結果をサポートしながら、ハンズオンテストプラクティスの機会を確保し、AI支援テスト教育に補完的なアプローチを提供することを示唆している。

関連論文リスト

• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• (Over)Reliance on Test Agents in AI-Assisted Software Testing [0.0]
  AIベースのテストエージェントは、継続的開発におけるフィードバックループを短くすることで、ソフトウェアテストの加速を約束する。 これらのメリットを実現するために、エンジニアは、エージェント出力が有用で、有効で、信頼性が高いかどうかを評価できなければならない。 本稿では、テストにおけるAIの過信はどちらも機関の問題であり、エンジニアはテスト設計決定に対する認知的制御を引き継ぐことができる、と論じる。
  論文  参考訳（メタデータ） (2026-07-20T13:23:49Z)
• LLMs for Automated Unit Test Generation and Assessment in Java: The AgoneTest Framework [2.501198441875755]
  AgoneTestは、Javaにおける大規模言語モデル生成ユニットテストの評価フレームワークである。 コンパイルされるテストのサブセットでは、LLMの生成したテストは、カバレッジと欠陥検出の点で、人間によるテストと一致またはオーバーすることができる。
  論文  参考訳（メタデータ） (2025-11-25T15:33:00Z)
• How Students Use Generative AI for Software Testing: An Observational Study [3.2402950370430497]
  本研究では、初心者ソフトウェア開発者がエンジニアリングユニットテストのために生成AIとどのように相互作用するかを検討する。 我々は,テストアイデアとテスト実装が生成AIに由来するか,参加者によって定義された4つのインタラクション戦略を特定した。 学生は、時間節約、認知負荷の低減、テスト思考のサポートなどの利点を報告したが、信頼の低下、テスト品質の懸念、所有権の欠如といった欠点も指摘した。
  論文  参考訳（メタデータ） (2025-10-12T11:31:41Z)
• Hamster: A Large-Scale Study and Characterization of Developer-Written Tests [44.65515600399573]
  我々はJavaアプリケーションの開発者によるテストについて調査し、オープンソースリポジトリから170万のテストケースをカバーした。 この結果から,開発者によるテストの大部分は,現在のATGツールの能力以上の特性を示すことがわかった。 私たちは、現在のツール機能と開発者のテストプラクティスに対するより効果的なツールサポートのギャップを埋めるのに役立つ有望な研究方向を特定します。
  論文  参考訳（メタデータ） (2025-09-30T13:08:23Z)
• Intention-Driven Generation of Project-Specific Test Cases [45.2380093475221]
  検証意図の記述からプロジェクト固有のテストを生成するIntentionTestを提案する。 13のオープンソースプロジェクトから4,146件のテストケースで,最先端のベースライン(DA, ChatTester, EvoSuite)に対してIntentionTestを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-07-28T08:35:04Z)
• TestAgent: An Adaptive and Intelligent Expert for Human Assessment [62.060118490577366]
  対話型エンゲージメントによる適応テストを強化するために,大規模言語モデル(LLM)を利用したエージェントであるTestAgentを提案する。 TestAgentは、パーソナライズされた質問の選択をサポートし、テストテイカーの応答と異常をキャプチャし、動的で対話的なインタラクションを通じて正確な結果を提供する。
  論文  参考訳（メタデータ） (2025-06-03T16:07:54Z)
• Disrupting Test Development with AI Assistants [1.024113475677323]
  GitHub Copilot、ChatGPT、TabnineなどのジェネレーティブAI支援コーディングツールは、ソフトウェア開発を大きく変えた。 本稿では、これらのイノベーションが生産性とソフトウェア開発のメトリクスにどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2024-11-04T17:52:40Z)
• Do Test and Environmental Complexity Increase Flakiness? An Empirical Study of SAP HANA [47.29324864511411]
  不安定なテストはコードの変更なしにランダムに失敗する。 テストの特徴と,テストのフレキネスに影響を与える可能性のあるテスト環境について検討する。
  論文  参考訳（メタデータ） (2024-09-16T07:52:09Z)
• Leveraging Large Language Models for Enhancing the Understandability of Generated Unit Tests [4.574205608859157]
  我々は,検索ベースのソフトウェアテストと大規模言語モデルを組み合わせたUTGenを導入し,自動生成テストケースの理解性を向上する。 UTGenテストケースで課題に取り組む参加者は、最大33%のバグを修正し、ベースラインテストケースと比較して最大20%の時間を使用できます。
  論文  参考訳（メタデータ） (2024-08-21T15:35:34Z)
• Towards Automatic Generation of Amplified Regression Test Oracles [44.45138073080198]
  回帰テストオラクルを増幅するためのテストオラクル導出手法を提案する。 このアプローチはテスト実行中にオブジェクトの状態を監視し、以前のバージョンと比較して、SUTの意図した振る舞いに関連する変更を検出する。
  論文  参考訳（メタデータ） (2023-07-28T12:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。