論文の概要: Requirements Engineering using Generative AI: Prompts and Prompting
Patterns
- arxiv url: http://arxiv.org/abs/2311.03832v1
- Date: Tue, 7 Nov 2023 09:22:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 16:14:57.789882
- Title: Requirements Engineering using Generative AI: Prompts and Prompting
Patterns
- Title(参考訳): 生成aiを用いた要件工学: プロンプトとプロンプトパターン
- Authors: Krishna Ronanki, Beatriz Cabrero-Daniel, Jennifer Horkoff, Christian
Berger
- Abstract要約: GenAIの文脈では、迅速なエンジニアリングが成功の鍵となる。
要求の分類と追跡に関する2つのタスクは、GPT-3.5ターボAPIを使用して自動化された。
本稿では, GPT-3.5ターボで選択したREタスクを実行させる5つのプロンプトパターンの有効性を評価し, 特定のREタスクに使用するプロンプトパターンを提案する。
- 参考スコア(独自算出の注目度): 4.268504966623082
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: [Context]: Companies are increasingly recognizing the importance of
automating Requirements Engineering (RE) tasks due to their resource-intensive
nature. The advent of GenAI has made these tasks more amenable to automation,
thanks to its ability to understand and interpret context effectively.
[Problem]: However, in the context of GenAI, prompt engineering is a critical
factor for success. Despite this, we currently lack tools and methods to
systematically assess and determine the most effective prompt patterns to
employ for a particular RE task. [Method]: Two tasks related to requirements,
specifically requirement classification and tracing, were automated using the
GPT-3.5 turbo API. The performance evaluation involved assessing various
prompts created using 5 prompt patterns and implemented programmatically to
perform the selected RE tasks, focusing on metrics such as precision, recall,
accuracy, and F-Score. [Results]: This paper evaluates the effectiveness of the
5 prompt patterns' ability to make GPT-3.5 turbo perform the selected RE tasks
and offers recommendations on which prompt pattern to use for a specific RE
task. Additionally, it also provides an evaluation framework as a reference for
researchers and practitioners who want to evaluate different prompt patterns
for different RE tasks.
- Abstract(参考訳): [コンテキスト]:企業は資源集約性から要求工学(RE)タスクの自動化の重要性をますます認識している。
GenAIの出現は、コンテキストを効果的に理解し解釈する能力のおかげで、これらのタスクを自動化しやすくした。
[議題]しかし、GenAIの文脈では、迅速なエンジニアリングが成功にとって重要な要素です。
それにもかかわらず、私たちは現在、特定のREタスクに最も効果的なプロンプトパターンを体系的に評価し、決定するツールやメソッドがありません。
[方法]GPT-3.5ターボAPIを用いて要求分類と追跡の2つのタスクを自動化した。
パフォーマンス評価には、5つのプロンプトパターンを使用して作成され、プログラムで実装され、選択されたREタスクを実行し、精度、リコール、精度、Fスコアなどのメトリクスに焦点を当てた。
結果: 本論文は, GPT-3.5ターボが選択されたREタスクを実行する5つのプロンプトパターンの有効性を評価し, 特定のREタスクに使用するプロンプトパターンを提案する。
さらに、異なるREタスクに対して異なるプロンプトパターンを評価したい研究者や実践者への参照として、評価フレームワークも提供する。
関連論文リスト
- The Foundations of Computational Management: A Systematic Approach to
Task Automation for the Integration of Artificial Intelligence into Existing
Workflows [55.2480439325792]
本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。
この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
論文 参考訳(メタデータ) (2024-02-07T01:45:14Z) - Intent-based Prompt Calibration: Enhancing prompt optimization with
synthetic boundary cases [2.6159111710501506]
本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。
我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-02-05T15:28:43Z) - TaskBench: Benchmarking Large Language Models for Task Automation [85.3879908356586]
タスク自動化における大規模言語モデルの能力を評価するためにTaskBenchを導入します。
高品質な評価データセットを生成するために,ツールグラフの概念を導入する。
また,タスク分解,ツールの実行,パラメータ予測など,さまざまな側面からLCMの能力を評価するためのTaskEvalを提案する。
論文 参考訳(メタデータ) (2023-11-30T18:02:44Z) - Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳(メタデータ) (2023-11-01T04:40:05Z) - Automaton-Guided Curriculum Generation for Reinforcement Learning Agents [14.20447398253189]
Automaton-Guided Curriculum Learning (AGCL) は、DAG(Directed Acyclic Graphs)の形式で、対象タスクのためのカリキュラムを自動生成する新しい方法である。
AGCL は決定論的有限オートマトン (DFA) の形式で仕様を符号化し、DFA とオブジェクト指向 MDP 表現を使ってカリキュラムを DAG として生成する。
グリッドワールドと物理に基づくシミュレーションロボティクス領域の実験では、AGCLが生み出すカリキュラムが時間と閾値のパフォーマンスを向上させることが示されている。
論文 参考訳(メタデータ) (2023-04-11T15:14:31Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳(メタデータ) (2021-09-10T03:23:06Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳(メタデータ) (2021-04-28T16:45:56Z) - Meta Reinforcement Learning with Autonomous Inference of Subtask
Dependencies [57.27944046925876]
本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。
メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。
実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
論文 参考訳(メタデータ) (2020-01-01T17:34:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。