論文の概要: Large Language Models for Software Testing Education: an Experience Report

• arxiv url: http://arxiv.org/abs/2603.26329v1
• Date: Fri, 27 Mar 2026 11:46:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.47799
• Title: Large Language Models for Software Testing Education: an Experience Report
• Title（参考訳）: ソフトウェアテスティング教育のための大規模言語モデル:経験報告
• Authors: Peng Yang, Yunfeng Zhu, Chao Chang, Shengcheng Yu, Zhenyu Chen, Yong Tang,
• Abstract要約: ソフトウェアエンジニアリングプラクティスへのLLM(Large Language Models)の迅速な統合は、ソフトウェアテスト活動の実施方法を変えている。 本稿では,ソフトウェアテスティング教育における人間とLLMのコラボレーションに関する2段階の混合手法の探索的研究について述べる。
• 参考スコア（独自算出の注目度）: 9.310369854735944
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The rapid integration of Large Language Models (LLMs) into software engineering practice is reshaping how software testing activities are performed. LLMs are increasingly used to support software testing. Consequently, software testing education must evolve to prepare students for this new paradigm. However, while students have already begun to use LLMs in an ad hoc manner for testing tasks, there is limited empirical understanding of how such usage influences their testing behaviors, judgment, and learning outcomes. It is necessary to conduct a systematic investigation into how students learn to evaluate, control, and refine LLM-assisted testing results. This paper presents a mixed-methods, two-phase exploratory study on human-LLM collaboration in software testing education. In Phase I, we analyze classroom learning artifacts and interaction records from 15 students, together with a large-scale survey conducted in a national software testing competition (337 valid responses), to identify recurring prompt-related difficulties across testing tasks. The results reveal systematic interaction breakdowns, including missing contextual information, insufficient constraints, rigid one-shot prompting, and limited strategy-driven iteration, with automated test script generation emerging as a particularly heterogeneous and effort-intensive interaction context. Building on these findings, Phase II conducts an illustrative classroom practice that operationalizes the observed breakdowns into a lightweight, stage-aware prompt scaffold for test script generation, guiding students to explicitly articulate execution-relevant information such as environmental assumptions, interaction grounding, synchronization, and validation intent, and reporting descriptive shifts in students' testing-related articulation when interacting with LLMs.
• Abstract（参考訳）: ソフトウェアエンジニアリングプラクティスへのLLM(Large Language Models)の迅速な統合は、ソフトウェアテスト活動の実施方法を変えている。 LLMは、ソフトウェアテストをサポートするためにますます使われています。 結果として、この新しいパラダイムのために学生を準備するために、ソフトウェアテスティング教育を進化させなければならない。 しかし, 学生はすでに, テスト作業において, LLMを副産物的に使用し始めたが, その使用がテスト行動, 判断, 学習結果にどのような影響を及ぼすか, 経験的理解は限られている。 学生がLCM支援試験の結果を評価し, 制御し, 精査する方法について, 体系的な調査を行うことが必要である。 本稿では,ソフトウェアテスティング教育における人間とLLMのコラボレーションに関する2段階の混合手法の探索的研究について述べる。 第1フェーズでは,15人の生徒の授業学習成果とインタラクション記録を分析し,全国ソフトウェアテストコンペティション(337件の有効回答)で実施した大規模調査と合わせて,テスト課題間で繰り返し発生する即時的困難を同定した。 その結果、コンテキスト情報不足、制約不足、厳格なワンショットプロンプト、限定的な戦略駆動イテレーション、特に異種で努力集約的なインタラクションコンテキストとして自動テストスクリプト生成が出現するなど、系統的なインタラクションのブレークダウンが明らかになった。 これらの知見に基づいて、第2相は、観察されたブレークスルーを、テストスクリプト生成のための軽量でステージ対応のプロンプト足場に運用し、環境仮定、相互作用基盤、同期、検証意図などの実行関連情報を明示的に記述するよう学生に指示し、LLMと対話する際のテスト関連記述における記述的変化を報告する、図示的な教室の実践を行っている。

関連論文リスト

• Software Testing with Large Language Models: An Interview Study with Practitioners [2.198430261120653]
  ソフトウェアテストにおける大きな言語モデルの使用は、多くのタスクをサポートするにつれて急速に増加しています。 しかし、彼らの採用は構造的なガイダンスよりも非公式な実験に依存していることが多い。 本研究は,ソフトウェアテスト専門家が LLM を用いて,予備的,実践的インフォームドガイドラインを提案する方法について考察する。
  論文  参考訳（メタデータ） (2025-10-20T05:06:56Z)
• Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol [83.83217247686402]
  大言語モデル(LLM)は、単純なテキストジェネレータから、検索強化、ツール呼び出し、マルチターンインタラクションを統合する複雑なソフトウェアシステムへと進化してきた。 その固有の非決定主義、ダイナミズム、文脈依存は品質保証に根本的な課題をもたらす。 本稿では,LLMアプリケーションを3層アーキテクチャに分解する: textbftextitSystem Shell Layer, textbftextitPrompt Orchestration Layer, textbftextitLLM Inference Core。
  論文  参考訳（メタデータ） (2025-08-28T13:00:28Z)
• Testing the Untestable? An Empirical Study on the Testing Process of LLM-Powered Software Systems [0.0]
  本研究では,実世界のアプリケーション開発において,大規模言語モデルがどのようにテストされるかを検討する。 ケーススタディは、LLMを利用したアプリケーションを大学コースの一部として構築・展開した学生によって書かれた99の個人レポートを用いて実施された。 結果: LLMを利用したシステムをテストするには, 従来の検証手法に適応し, ソースレベルの推論と行動認識評価をブレンドする必要がある。
  論文  参考訳（メタデータ） (2025-07-31T22:39:24Z)
• Can Large Language Models Help Students Prove Software Correctness? An Experimental Study with Dafny [75.55915044740566]
  コンピューティング教育の学生は、ChatGPTのような大きな言語モデル(LLM)をますます利用している。 本稿では,Dafny の形式的検証演習において,学生が LLM とどのように相互作用するかを検討する。
  論文  参考訳（メタデータ） (2025-06-27T16:34:13Z)
• Challenges in Testing Large Language Model Based Software: A Faceted Taxonomy [8.927002750209295]
  LLM(Large Language Models)とMulti-Agent LLM(MALLMs)は、従来の機械学習ソフトウェアとは異なり、非決定性を導入している。 本稿では,LLMテストケース設計のための分類法について述べる。
  論文  参考訳（メタデータ） (2025-03-01T13:15:56Z)
• A Case Study on Test Case Construction with Large Language Models: Unveiling Practical Insights and Challenges [2.7029792239733914]
  本稿では,ソフトウェア工学の文脈におけるテストケース構築における大規模言語モデルの適用について検討する。 定性分析と定量分析の混合により, LLMが試験ケースの包括性, 精度, 効率に与える影響を評価する。
  論文  参考訳（メタデータ） (2023-12-19T20:59:02Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。