論文の概要: Requirements Engineering using Generative AI: Prompts and Prompting
Patterns
- arxiv url: http://arxiv.org/abs/2311.03832v1
- Date: Tue, 7 Nov 2023 09:22:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 16:14:57.789882
- Title: Requirements Engineering using Generative AI: Prompts and Prompting
Patterns
- Title（参考訳）: 生成aiを用いた要件工学: プロンプトとプロンプトパターン
- Authors: Krishna Ronanki, Beatriz Cabrero-Daniel, Jennifer Horkoff, Christian
Berger
- Abstract要約: GenAIの文脈では、迅速なエンジニアリングが成功の鍵となる。
要求の分類と追跡に関する2つのタスクは、GPT-3.5ターボAPIを使用して自動化された。
本稿では, GPT-3.5ターボで選択したREタスクを実行させる5つのプロンプトパターンの有効性を評価し, 特定のREタスクに使用するプロンプトパターンを提案する。
- 参考スコア（独自算出の注目度）: 4.268504966623082
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: [Context]: Companies are increasingly recognizing the importance of
automating Requirements Engineering (RE) tasks due to their resource-intensive
nature. The advent of GenAI has made these tasks more amenable to automation,
thanks to its ability to understand and interpret context effectively.
[Problem]: However, in the context of GenAI, prompt engineering is a critical
factor for success. Despite this, we currently lack tools and methods to
systematically assess and determine the most effective prompt patterns to
employ for a particular RE task. [Method]: Two tasks related to requirements,
specifically requirement classification and tracing, were automated using the
GPT-3.5 turbo API. The performance evaluation involved assessing various
prompts created using 5 prompt patterns and implemented programmatically to
perform the selected RE tasks, focusing on metrics such as precision, recall,
accuracy, and F-Score. [Results]: This paper evaluates the effectiveness of the
5 prompt patterns' ability to make GPT-3.5 turbo perform the selected RE tasks
and offers recommendations on which prompt pattern to use for a specific RE
task. Additionally, it also provides an evaluation framework as a reference for
researchers and practitioners who want to evaluate different prompt patterns
for different RE tasks.
- Abstract（参考訳）: [コンテキスト]:企業は資源集約性から要求工学(RE)タスクの自動化の重要性をますます認識している。
GenAIの出現は、コンテキストを効果的に理解し解釈する能力のおかげで、これらのタスクを自動化しやすくした。
[議題]しかし、GenAIの文脈では、迅速なエンジニアリングが成功にとって重要な要素です。
それにもかかわらず、私たちは現在、特定のREタスクに最も効果的なプロンプトパターンを体系的に評価し、決定するツールやメソッドがありません。
[方法]GPT-3.5ターボAPIを用いて要求分類と追跡の2つのタスクを自動化した。
パフォーマンス評価には、5つのプロンプトパターンを使用して作成され、プログラムで実装され、選択されたREタスクを実行し、精度、リコール、精度、Fスコアなどのメトリクスに焦点を当てた。
結果: 本論文は, GPT-3.5ターボが選択されたREタスクを実行する5つのプロンプトパターンの有効性を評価し, 特定のREタスクに使用するプロンプトパターンを提案する。
さらに、異なるREタスクに対して異なるプロンプトパターンを評価したい研究者や実践者への参照として、評価フレームワークも提供する。
関連論文リスト
- Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。
不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。
対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
論文 参考訳（メタデータ） (2025-02-18T17:12:26Z) - Learning Task Representations from In-Context Learning [73.72066284711462]
大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。
ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。
提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
論文 参考訳（メタデータ） (2025-02-08T00:16:44Z) - A Sequential Optimal Learning Approach to Automated Prompt Engineering in Large Language Models [14.483240353801074]
本稿では,自動プロンプトエンジニアリングのための最適学習フレームワークを提案する。
限られた評価予算を効率的に割り当てつつ、効果的なプロンプト機能を逐次識別するように設計されている。
私たちのフレームワークは、より広い範囲のアプリケーションに自動プロンプトエンジニアリングをデプロイするためのソリューションを提供します。
論文 参考訳（メタデータ） (2025-01-07T03:51:10Z) - GRAD-SUM: Leveraging Gradient Summarization for Optimal Prompt Engineering [0.2877502288155167]
本稿では,自動プロンプトエンジニアリングのためのスケーラブルでフレキシブルなGRAD-SUMを紹介する。
提案手法は,ユーザ定義タスク記述と評価基準を取り入れ,新しい勾配要約モジュールを特徴とする。
この結果から, GRAD-SUMは, 様々なベンチマークにおいて, 既存の手法よりも一貫した性能を示した。
論文 参考訳（メタデータ） (2024-07-12T19:11:21Z) - Unified Active Retrieval for Retrieval Augmented Generation [69.63003043712696]
Retrieval-Augmented Generation (RAG)では、検索は必ずしも役に立たない。
既存のアクティブ検索手法は2つの課題に直面している。
彼らは通常、様々な種類の命令を扱うのに苦労する単一の基準に頼っている。
それらは特殊で高度に区別された手順に依存しており、それらを組み合わせることでRAGシステムはより複雑になる。
論文 参考訳（メタデータ） (2024-06-18T12:09:02Z) - Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation [9.390902237835457]
検索型大規模言語モデル(RAG)のタスク固有精度を計測する新しい手法を提案する。
複数の選択質問からなる自動生成合成試験において、RAGをスコアリングして評価を行う。
論文 参考訳（メタデータ） (2024-05-22T13:14:11Z) - The Foundations of Computational Management: A Systematic Approach to
Task Automation for the Integration of Artificial Intelligence into Existing
Workflows [55.2480439325792]
本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。
この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
論文 参考訳（メタデータ） (2024-02-07T01:45:14Z) - TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。
具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。
提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文 参考訳（メタデータ） (2023-11-30T18:02:44Z) - Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳（メタデータ） (2023-11-01T04:40:05Z) - Prompt Engineering or Fine-Tuning: An Empirical Assessment of LLMs for Code [7.760653867600283]
我々は,基本的なプロンプト,コンテキスト内学習,タスク固有のプロンプトという3つのプロンプト技術戦略を用いて,GPT-4を評価する。
コード要約、生成、翻訳という3つのコード関連タスクに関する17の微調整モデルと比較する。
論文 参考訳（メタデータ） (2023-10-11T00:21:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。