論文の概要: An Empirical Evaluation of Using Large Language Models for Automated Model-Based Test Generation

• arxiv url: http://arxiv.org/abs/2608.27094v1
• Date: Thu, 27 Aug 2026 13:13:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.411281
• Title: An Empirical Evaluation of Using Large Language Models for Automated Model-Based Test Generation
• Title（参考訳）: 大規模言語モデルを用いた自動モデルベーステスト生成の実証評価
• Abstract要約: 本稿では,Large Language Models (LLMs) を用いた自動モデルベーステスト生成のための実験的検討を行った。 我々の評価は、最近の5つの最先端LCMを用いて、テストパスとステップサイズを最適化し、短縮する強い可能性を示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have shown strong potential for software engineering tasks, particularly software testing. Model-based testing (MBT) is a software testing technique. To address the broad scalability challenge for industrial adoption of MBTs, our paper presents an empirical evaluation of Large Language Models (LLMs) for automated model-based test generation, compared with a state-of-the-art model-based testing tool (GraphWalker) and its built-in algorithms (random and quick random for edge and vertex coverage settings). Our evaluation indicates strong potential to optimize and shorten test paths and step sizes using the recent five state-of-the-art LLMs (GPT-5.1, GPT-5.2, Claude Opus 4.5, Claude Sonnet 4.5, and Gemini 2.5 Pro) against four GraphWalker models (two web applications (Parabank and Testinium) and two hardware applications (TLC and RISC-V) ) of escalating complexity.
• Abstract（参考訳）: 大規模言語モデルは、特にソフトウェアテストにおいて、ソフトウェアエンジニアリングタスクに強い可能性を示している。 モデルベーステスト(MBT)は、ソフトウェアテスティング手法である。 MBTを産業的に採用するための広範なスケーラビリティ課題に対処するため,本論文では,最先端のモデルベーステストツール(GraphWalker)や組込みアルゴリズム(エッジと頂点のカバレッジ設定に対してランダムで高速なランダム)と比較して,モデルベース自動生成のための言語モデル(LLM)を実証的に評価する。 我々の評価は、最近の5つの最先端LCM(GPT-5.1, GPT-5.2, Claude Opus 4.5, Claude Sonnet 4.5, Gemini 2.5 Pro)と4つのGraphWalkerモデル(ParabankとTestinium)と2つのハードウェアアプリケーション(TLCとRISC-V)を用いて、テストパスとステップサイズを最適化し、短縮する可能性を示している。

関連論文リスト

• Exploring LLM-based Verilog Code Generation with Data-Efficient Fine-Tuning and Testbench Automation [1.2868785387618027]
  本稿では,マルチエージェントモデルを用いて高品質な微調整データに対するテストベンチを生成するワークフローを提案する。 テストベンチ作成を自動化することで、仕様からVerilogタスクの微調整されたモデルは、最先端のメソッドに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-04-16T06:02:39Z)
• Prompting Strategies for Language Model-Based Item Generation in K-12 Education: Bridging the Gap Between Small and Large Language Models [5.584522240405349]
  本研究では、言語モデルを用いた自動生成(AIG)を用いて、形態的評価のための複数選択質問(MCQ)を作成する。 ゼロショット,少数ショット,チェーンオブ思考,ロールベース,シーケンシャル,組み合わせを含む7つの構造化プロンプト戦略を評価した。 その結果,構造的プロンプト,特にチェーン・オブ・シンクショナルデザインとシーケンシャルデザインを組み合わせた戦略はGemmaの出力を大幅に改善した。
  論文  参考訳（メタデータ） (2025-08-27T18:54:32Z)
• Technical Report: Full-Stack Fine-Tuning for the Q Programming Language [1.2316583133621197]
  我々はQ言語の評価データセットをリリースする。 データセット上で主要なフロンティアモデルをベンチマークし、事前トレーニング、教師付き微調整、強化学習を行います。 我々の最高のモデルは、Qベンチマークで59%のパス@1精度を実現し、最高のパフォーマンスのフロンティアモデルを上回っています。
  論文  参考訳（メタデータ） (2025-08-09T04:22:07Z)
• MBTModelGenerator: A software tool for reverse engineering of Model-based Testing (MBT) models from clickstream data of web applications [1.516251872371896]
  このツールはUIイベントをキャプチャして状態遷移モデルに変換し、その結果をGraphWalker MBTツールと互換性のあるフォーマットでエクスポートする。 本報告では, システム要件, 設計決定, 実装詳細, テストプロセス, ツールの実証評価について報告する。
  論文  参考訳（メタデータ） (2025-06-09T19:44:10Z)
• Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling [191.7830199016589]
  InternVL 2.5は、InternVL 2.0上に構築された高度マルチモーダル大規模言語モデル(MLLM)シリーズである。 InternVL 2.5は、GPT-4oやClaude-3.5-Sonnetといった主要な商用モデルと競合する競争力を持つ。 このモデルが、マルチモーダルAIシステムの開発と適用のための新しい標準を設定することで、オープンソースコミュニティに貢献できることを願っています。
  論文  参考訳（メタデータ） (2024-12-06T18:57:08Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Design2Code: Benchmarking Multimodal Code Generation for Automated Front-End Engineering [74.99736967448423]
  私たちは、このタスクのための最初の実世界のベンチマークであるDesign2Codeを構築します。 テストケースとして484の多様な実世界のWebページを手作業でキュレートし、自動評価指標のセットを開発する。 我々の詳細なブレークダウンメトリクスは、入力されたWebページから視覚要素をリコールし、正しいレイアウト設計を生成するモデルがほとんど遅れていることを示している。
  論文  参考訳（メタデータ） (2024-03-05T17:56:27Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• VeriGen: A Large Language Model for Verilog Code Generation [22.837558083876743]
  GitHubとVerilogの教科書からコンパイルされたVerilogデータセット上に、既存のLarge Language Models(LLM)を微調整します。 ここでは、細調整されたオープンソースのCodeGen-16Bモデルにより、商用のGPT-3.5-turboモデルよりも1.1%向上した。 特に、様々な問題カテゴリにまたがって構文的に正しいVerilogコードを生成することで、事前訓練済みのVerilogコードよりも41%改善されている。
  論文  参考訳（メタデータ） (2023-07-28T02:57:14Z)
• Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification [58.720142291102135]
  本研究では,実環境における職種分類の課題について検討する。 目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
  論文  参考訳（メタデータ） (2023-03-13T14:09:53Z)
• Text Embeddings by Weakly-Supervised Contrastive Pre-training [98.31785569325402]
  E5は最先端のテキスト埋め込みのファミリーであり、幅広いタスクにうまく転送される。 E5は、テキストの単一ベクトル表現を必要とするタスクに対して、汎用的な埋め込みモデルとして簡単に使用できる。
  論文  参考訳（メタデータ） (2022-12-07T09:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。