論文の概要: Automated Control Logic Test Case Generation using Large Language Models

• arxiv url: http://arxiv.org/abs/2405.01874v1
• Date: Fri, 3 May 2024 06:09:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 13:35:25.956761
• Title: Automated Control Logic Test Case Generation using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた制御論理テストケースの自動生成
• Authors: Heiko Koziolek, Virendra Ashiwal, Soumyadip Bandyopadhyay, Chandrika K R,
• Abstract要約: 大規模言語モデル(LLM)を問うPLCテストケースの自動生成のための新しい手法を提案する。 OSCAT自動化ライブラリから10のオープンソース関数ブロックを使用した実験では、このアプローチが高速で、使いやすく、かつ、ロー・トゥ・メジウムの複雑なプログラムに対して高いステートメントカバレッジを持つテストケースが得られることが示された。
• 参考スコア（独自算出の注目度）: 13.273872261029608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Testing PLC and DCS control logic in industrial automation is laborious and challenging since appropriate test cases are often complex and difficult to formulate. Researchers have previously proposed several automated test case generation approaches for PLC software applying symbolic execution and search-based techniques. Often requiring formal specifications and performing a mechanical analysis of programs, these approaches may uncover specific programming errors but sometimes suffer from state space explosion and cannot process rather informal specifications. We proposed a novel approach for the automatic generation of PLC test cases that queries a Large Language Model (LLM) to synthesize test cases for code provided in a prompt. Experiments with ten open-source function blocks from the OSCAT automation library showed that the approach is fast, easy to use, and can yield test cases with high statement coverage for low-to-medium complex programs. However, we also found that LLM-generated test cases suffer from erroneous assertions in many cases, which still require manual adaption.
• Abstract（参考訳）: 産業自動化におけるPLCとDCS制御ロジックのテストは、適切なテストケースが複雑で、定式化が難しいため、面倒で難しい。 研究者は以前、シンボル実行とサーチベース技術を適用したPLCソフトウェアのためのいくつかの自動テストケース生成手法を提案している。 しばしば、正式な仕様とプログラムの機械的解析を必要とするが、これらの手法は特定のプログラムエラーを発見できるが、時として状態空間の爆発に悩まされ、むしろ非公式な仕様を処理できない。 我々は,大規模言語モデル (LLM) を問うPLCテストケースの自動生成のための新しい手法を提案し,プロンプトで提供されるコードのテストケースを合成した。 OSCAT自動化ライブラリから10のオープンソース関数ブロックを使用した実験では、このアプローチが高速で、使いやすく、かつ、ロー・トゥ・メジウムの複雑なプログラムに対して高いステートメントカバレッジを持つテストケースが得られることが示された。 しかし,LSMによるテストケースでは,手動による適応が要求される場合が多く,誤断が生じることが判明した。

関連論文リスト

• Automatic Generation of Behavioral Test Cases For Natural Language Processing Using Clustering and Prompting [6.938766764201549]
  本稿では,大規模言語モデルと統計的手法の力を活用したテストケースの自動開発手法を提案する。 4つの異なる分類アルゴリズムを用いて行動テストプロファイルを分析し、それらのモデルの限界と強みについて議論する。
  論文  参考訳（メタデータ） (2024-07-31T21:12:21Z)
• Harnessing the Power of LLMs: Automating Unit Test Generation for High-Performance Computing [7.3166218350585135]
  ユニットテストは、品質を保証するために、ソフトウェア工学において不可欠です。 並列処理や高性能計算ソフトウェア、特に科学応用では広く使われていない。 本稿では,このようなソフトウェアを対象としたユニットテストの自動生成手法を提案する。
  論文  参考訳（メタデータ） (2024-07-06T22:45:55Z)
• Automatic benchmarking of large multimodal models via iterative experiment programming [71.78089106671581]
  本稿では,LMMの自動ベンチマークのための最初のフレームワークであるAPExを紹介する。 自然言語で表現された研究の質問に対して、APExは大きな言語モデル(LLM)と事前定義されたツールのライブラリを活用して、手元にあるモデルの一連の実験を生成する。 調査の現在の状況に基づいて、APExはどの実験を行うか、結果が結論を引き出すのに十分かどうかを選択する。
  論文  参考訳（メタデータ） (2024-06-18T06:43:46Z)
• A Tool for Test Case Scenarios Generation Using Large Language Models [3.9422957660677476]
  この記事では、エピックやハイレベルなユーザストーリーとして、ユーザ要求を生成することに焦点を当てます。 LLMベースのエージェントを使用して、テストケースシナリオの自動生成をエンジニアリングに促す、Webベースのソフトウェアツールを導入している。
  論文  参考訳（メタデータ） (2024-06-11T07:26:13Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• Test Oracle Automation in the era of LLMs [52.69509240442899]
  大規模言語モデル(LLM)は、多様なソフトウェアテストタスクに取り組むのに顕著な能力を示した。 本研究の目的は, 各種のオラクル生成時に生じる課題とともに, LLMs によるオラクルの自動化の可能性について検討することである。
  論文  参考訳（メタデータ） (2024-05-21T13:19:10Z)
• Automating REST API Postman Test Cases Using LLM [0.0]
  本稿では,大規模言語モデルを用いたテストケースの自動生成手法の探索と実装について述べる。 この方法論は、テストケース生成の効率性と有効性を高めるために、Open AIの使用を統合する。 この研究で開発されたモデルは、手作業で収集したポストマンテストケースやさまざまなRest APIのインスタンスを使ってトレーニングされている。
  論文  参考訳（メタデータ） (2024-04-16T15:53:41Z)
• Automatic Generation of Test Cases based on Bug Reports: a Feasibility Study with Large Language Models [4.318319522015101]
  既存のアプローチは、単純なテスト(例えば単体テスト)や正確な仕様を必要とするテストケースを生成する。 ほとんどのテスト手順は、テストスイートを形成するために人間が書いたテストケースに依存しています。 大規模言語モデル(LLM)を活用し,バグレポートを入力として利用することにより,この生成の実現可能性を検討する。
  論文  参考訳（メタデータ） (2023-10-10T05:30:12Z)
• A General Framework for Verification and Control of Dynamical Models via Certificate Synthesis [54.959571890098786]
  システム仕様を符号化し、対応する証明書を定義するためのフレームワークを提供する。 コントローラと証明書を形式的に合成する自動化手法を提案する。 我々のアプローチは、ニューラルネットワークの柔軟性を利用して、制御のための安全な学習の幅広い分野に寄与する。
  論文  参考訳（メタデータ） (2023-09-12T09:37:26Z)
• Large Language Models as General Pattern Machines [64.75501424160748]
  我々は,事前訓練された大規模言語モデル (LLM) が,複雑なトークンシーケンスを自動回帰的に完了することを示す。 驚いたことに、語彙からランダムにサンプリングされたトークンを用いてシーケンスが表現された場合でも、パターン完了の習熟度を部分的に保持することができる。 本研究では,ロボット工学における問題に対して,これらのゼロショット機能がどのように適用されるかを検討する。
  論文  参考訳（メタデータ） (2023-07-10T17:32:13Z)
• Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
  線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。 このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
  論文  参考訳（メタデータ） (2019-02-02T20:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。