論文の概要: Towards Generating Executable Metamorphic Relations Using Large Language
Models
- arxiv url: http://arxiv.org/abs/2401.17019v1
- Date: Tue, 30 Jan 2024 13:52:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 14:54:08.717648
- Title: Towards Generating Executable Metamorphic Relations Using Large Language
Models
- Title(参考訳): 大規模言語モデルを用いた実行可能変成関係の生成に向けて
- Authors: Seung Yeob Shin and Fabrizio Pastore and Domenico Bianculli and
Alexandra Baicoianu
- Abstract要約: 大規模言語モデル(LLM)を用いた要件から実行可能なMRを自動的に抽出する手法を提案する。
提案手法の有効性を評価するため,シーメンス・インダストリー・ソフトウェアと共同で質問紙調査を行った。
- 参考スコア(独自算出の注目度): 49.632090604977364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Metamorphic testing (MT) has proven to be a successful solution to automating
testing and addressing the oracle problem. However, it entails manually
deriving metamorphic relations (MRs) and converting them into an executable
form; these steps are time-consuming and may prevent the adoption of MT. In
this paper, we propose an approach for automatically deriving executable MRs
(EMRs) from requirements using large language models (LLMs). Instead of merely
asking the LLM to produce EMRs, our approach relies on a few-shot prompting
strategy to instruct the LLM to perform activities in the MT process, by
providing requirements and API specifications, as one would do with software
engineers. To assess the feasibility of our approach, we conducted a
questionnaire-based survey in collaboration with Siemens Industry Software,
focusing on four of their software applications. Additionally, we evaluated the
accuracy of the generated EMRs for a web application. The outcomes of our study
are highly promising, as they demonstrate the capability of our approach to
generate MRs and EMRs that are both comprehensible and pertinent for testing
purposes.
- Abstract(参考訳): メタモルフィックテスト(mt)は、テストの自動化とoracleの問題への対処に成功している。
しかし,手動でメタモルフィック関係(MR)を導出し,それを実行可能な形式に変換することが必要であり,これらのステップは時間を要するため,MTの採用を阻害する可能性があり,本稿では,大規模言語モデル(LLM)を用いた要件から,実行可能なMR(EMR)を自動的に導出するアプローチを提案する。
私たちのアプローチは、単にLLMにEMRの生成を依頼するのではなく、要件とAPI仕様を提供することで、MTプロセスでLLMにアクティビティを実行するように指示する、数発のプロンプト戦略に依存しています。
提案手法の有効性を評価するため,Siemens Industry Softwareと共同で質問紙調査を行い,その4つのソフトウェアアプリケーションに焦点を当てた。
さらに、Webアプリケーションの生成したEMRの精度を評価した。
本研究の結果は,テスト目的において理解可能かつ関連性の高いMRとEMRを生成するためのアプローチの能力を実証する上で,極めて有望なものである。
関連論文リスト
- METAL: Metamorphic Testing Framework for Analyzing Large-Language Model
Qualities [4.493507573183107]
大言語モデル(LLM)は自然言語データ処理のパラダイムをシフトさせた。
近年,LLMの品質属性(QA)は,逆入力テキストを生成することで検証されている。
本稿では,これらの問題に対処するメタモルフィック・テスト・フォー・アナライズ・LLM(METAL)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T01:29:19Z) - Let's reward step by step: Step-Level reward model as the Navigators for
Reasoning [64.27898739929734]
Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。
LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。
提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
論文 参考訳(メタデータ) (2023-10-16T05:21:50Z) - Towards a Complete Metamorphic Testing Pipeline [56.75969180129005]
システムアンダーテスト(SUT)の連続実行における入出力ペア間の関係を調べてテストオラクル問題に対処するメタモルフィックテスト(MT)
これらの関係は、メタモルフィック関係 (MRs) と呼ばれ、特定の入力変化に起因する期待される出力変化を規定する。
本研究の目的は,MR の生成,制約の定義,MR 結果の説明可能性の提供を支援する手法とツールの開発である。
論文 参考訳(メタデータ) (2023-09-30T10:49:22Z) - Revisiting Prompt Engineering via Declarative Crowdsourcing [16.624577543520093]
大規模言語モデル(LLM)は、テキスト形式でデータを解釈し、生成するのに驚くほど強力ですが、脆弱でエラーを起こします。
私たちは宣言的な急進的なエンジニアリングのビジョンを打ち出した。
ソート、実体分解、計算に関する予備的ケーススタディは、我々のアプローチの可能性を実証している。
論文 参考訳(メタデータ) (2023-08-07T18:04:12Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳(メタデータ) (2023-04-28T10:27:38Z) - Just Tell Me: Prompt Engineering in Business Process Management [63.08166397142146]
GPT-3や他の言語モデル(LM)は、様々な自然言語処理(NLP)タスクに効果的に対処できる。
私たちは、迅速なエンジニアリングは、BPM研究にLMの能力をもたらすことができると論じています。
論文 参考訳(メタデータ) (2023-04-14T14:55:19Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳(メタデータ) (2023-02-22T17:44:15Z) - AutoPrompt: Eliciting Knowledge from Language Models with Automatically
Generated Prompts [46.03503882865222]
AutoPromptは、勾配誘導検索に基づいて、さまざまなタスクセットのプロンプトを作成する自動メソッドである。
マスク付き言語モデル(MLM)は,感情分析や自然言語推論を,追加パラメータや微調整を伴わずに行う能力を持つことを示す。
論文 参考訳(メタデータ) (2020-10-29T22:54:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。