論文の概要: Towards Generating Executable Metamorphic Relations Using Large Language Models

• arxiv url: http://arxiv.org/abs/2401.17019v1
• Date: Tue, 30 Jan 2024 13:52:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 14:54:08.717648
• Title: Towards Generating Executable Metamorphic Relations Using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた実行可能変成関係の生成に向けて
• Authors: Seung Yeob Shin and Fabrizio Pastore and Domenico Bianculli and Alexandra Baicoianu
• Abstract要約: 大規模言語モデル(LLM)を用いた要件から実行可能なMRを自動的に抽出する手法を提案する。 提案手法の有効性を評価するため,シーメンス・インダストリー・ソフトウェアと共同で質問紙調査を行った。
• 参考スコア（独自算出の注目度）: 49.632090604977364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metamorphic testing (MT) has proven to be a successful solution to automating testing and addressing the oracle problem. However, it entails manually deriving metamorphic relations (MRs) and converting them into an executable form; these steps are time-consuming and may prevent the adoption of MT. In this paper, we propose an approach for automatically deriving executable MRs (EMRs) from requirements using large language models (LLMs). Instead of merely asking the LLM to produce EMRs, our approach relies on a few-shot prompting strategy to instruct the LLM to perform activities in the MT process, by providing requirements and API specifications, as one would do with software engineers. To assess the feasibility of our approach, we conducted a questionnaire-based survey in collaboration with Siemens Industry Software, focusing on four of their software applications. Additionally, we evaluated the accuracy of the generated EMRs for a web application. The outcomes of our study are highly promising, as they demonstrate the capability of our approach to generate MRs and EMRs that are both comprehensible and pertinent for testing purposes.
• Abstract（参考訳）: メタモルフィックテスト(mt)は、テストの自動化とoracleの問題への対処に成功している。 しかし,手動でメタモルフィック関係(MR)を導出し,それを実行可能な形式に変換することが必要であり,これらのステップは時間を要するため,MTの採用を阻害する可能性があり,本稿では,大規模言語モデル(LLM)を用いた要件から,実行可能なMR(EMR)を自動的に導出するアプローチを提案する。 私たちのアプローチは、単にLLMにEMRの生成を依頼するのではなく、要件とAPI仕様を提供することで、MTプロセスでLLMにアクティビティを実行するように指示する、数発のプロンプト戦略に依存しています。 提案手法の有効性を評価するため,Siemens Industry Softwareと共同で質問紙調査を行い,その4つのソフトウェアアプリケーションに焦点を当てた。 さらに、Webアプリケーションの生成したEMRの精度を評価した。 本研究の結果は,テスト目的において理解可能かつ関連性の高いMRとEMRを生成するためのアプローチの能力を実証する上で,極めて有望なものである。

関連論文リスト

• Creation and Evaluation of a Food Product Image Dataset for Product Property Extraction [39.58317527488534]
  自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。 CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。 本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
  論文  参考訳（メタデータ） (2024-11-15T21:29:05Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Re-Thinking Process Mining in the AI-Based Agents Era [39.58317527488534]
  大規模言語モデル(LLM)は強力な対話インタフェースとして登場し、プロセスマイニング(PM)タスクにおけるその応用は有望な結果を示している。 本稿では,LLMにおけるPMの有効性を高めるために,AIベースのエージェント(AgWf)パラダイムを活用することを提案する。 我々はAgWfの様々な実装とAIベースのタスクの種類について検討する。
  論文  参考訳（メタデータ） (2024-08-14T10:14:18Z)
• Using Large Language Models to Understand Telecom Standards [35.343893798039765]
  大きな言語モデル(LLM)は、関連する情報へのより高速なアクセスを提供する。 質問応答(QA)アシスタントとして使用される最先端のLCMの性能を評価する。 その結果,LLMはテレコム技術文書の信頼できる参照ツールとして利用できることがわかった。
  論文  参考訳（メタデータ） (2024-04-02T09:54:51Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• Benchmarking Automated Machine Learning Methods for Price Forecasting Applications [58.720142291102135]
  自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。 CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。 本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
  論文  参考訳（メタデータ） (2023-04-28T10:27:38Z)
• Just Tell Me: Prompt Engineering in Business Process Management [63.08166397142146]
  GPT-3や他の言語モデル(LM)は、様々な自然言語処理(NLP)タスクに効果的に対処できる。 私たちは、迅速なエンジニアリングは、BPM研究にLMの能力をもたらすことができると論じています。
  論文  参考訳（メタデータ） (2023-04-14T14:55:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。