論文の概要: Requirements Engineering using Generative AI: Prompts and Prompting Patterns

• arxiv url: http://arxiv.org/abs/2311.03832v1
• Date: Tue, 7 Nov 2023 09:22:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 16:14:57.789882
• Title: Requirements Engineering using Generative AI: Prompts and Prompting Patterns
• Title（参考訳）: 生成aiを用いた要件工学: プロンプトとプロンプトパターン
• Authors: Krishna Ronanki, Beatriz Cabrero-Daniel, Jennifer Horkoff, Christian Berger
• Abstract要約: GenAIの文脈では、迅速なエンジニアリングが成功の鍵となる。 要求の分類と追跡に関する2つのタスクは、GPT-3.5ターボAPIを使用して自動化された。 本稿では, GPT-3.5ターボで選択したREタスクを実行させる5つのプロンプトパターンの有効性を評価し, 特定のREタスクに使用するプロンプトパターンを提案する。
• 参考スコア（独自算出の注目度）: 4.268504966623082
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: [Context]: Companies are increasingly recognizing the importance of automating Requirements Engineering (RE) tasks due to their resource-intensive nature. The advent of GenAI has made these tasks more amenable to automation, thanks to its ability to understand and interpret context effectively. [Problem]: However, in the context of GenAI, prompt engineering is a critical factor for success. Despite this, we currently lack tools and methods to systematically assess and determine the most effective prompt patterns to employ for a particular RE task. [Method]: Two tasks related to requirements, specifically requirement classification and tracing, were automated using the GPT-3.5 turbo API. The performance evaluation involved assessing various prompts created using 5 prompt patterns and implemented programmatically to perform the selected RE tasks, focusing on metrics such as precision, recall, accuracy, and F-Score. [Results]: This paper evaluates the effectiveness of the 5 prompt patterns' ability to make GPT-3.5 turbo perform the selected RE tasks and offers recommendations on which prompt pattern to use for a specific RE task. Additionally, it also provides an evaluation framework as a reference for researchers and practitioners who want to evaluate different prompt patterns for different RE tasks.
• Abstract（参考訳）: [コンテキスト]:企業は資源集約性から要求工学(RE)タスクの自動化の重要性をますます認識している。 GenAIの出現は、コンテキストを効果的に理解し解釈する能力のおかげで、これらのタスクを自動化しやすくした。 [議題]しかし、GenAIの文脈では、迅速なエンジニアリングが成功にとって重要な要素です。 それにもかかわらず、私たちは現在、特定のREタスクに最も効果的なプロンプトパターンを体系的に評価し、決定するツールやメソッドがありません。 [方法]GPT-3.5ターボAPIを用いて要求分類と追跡の2つのタスクを自動化した。 パフォーマンス評価には、5つのプロンプトパターンを使用して作成され、プログラムで実装され、選択されたREタスクを実行し、精度、リコール、精度、Fスコアなどのメトリクスに焦点を当てた。 結果: 本論文は, GPT-3.5ターボが選択されたREタスクを実行する5つのプロンプトパターンの有効性を評価し, 特定のREタスクに使用するプロンプトパターンを提案する。 さらに、異なるREタスクに対して異なるプロンプトパターンを評価したい研究者や実践者への参照として、評価フレームワークも提供する。

関連論文リスト

• AI based Multiagent Approach for Requirements Elicitation and Analysis [3.9422957660677476]
  本研究では,大規模言語モデル(LLM)を用いた要求分析タスクの自動化の有効性を実証的に検討する。 我々は,GPT-3.5,GPT-4 Omni,LLaMA3-70,Mixtral-8Bの4つのモデルをデプロイし,実世界の4つのプロジェクトにおける要件を分析する実験を行った。 予備的な結果は,各モデルにおけるタスク完了の顕著な変化を示している。
  論文  参考訳（メタデータ） (2024-08-18T07:23:12Z)
• GRAD-SUM: Leveraging Gradient Summarization for Optimal Prompt Engineering [0.2877502288155167]
  本稿では,自動プロンプトエンジニアリングのためのスケーラブルでフレキシブルなGRAD-SUMを紹介する。 提案手法は,ユーザ定義タスク記述と評価基準を取り入れ,新しい勾配要約モジュールを特徴とする。 この結果から, GRAD-SUMは, 様々なベンチマークにおいて, 既存の手法よりも一貫した性能を示した。
  論文  参考訳（メタデータ） (2024-07-12T19:11:21Z)
• Unified Active Retrieval for Retrieval Augmented Generation [69.63003043712696]
  Retrieval-Augmented Generation (RAG)では、検索は必ずしも役に立たない。 既存のアクティブ検索手法は2つの課題に直面している。 彼らは通常、様々な種類の命令を扱うのに苦労する単一の基準に頼っている。 それらは特殊で高度に区別された手順に依存しており、それらを組み合わせることでRAGシステムはより複雑になる。
  論文  参考訳（メタデータ） (2024-06-18T12:09:02Z)
• Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation [9.390902237835457]
  検索型大規模言語モデル(RAG)のタスク固有精度を計測する新しい手法を提案する。 複数の選択質問からなる自動生成合成試験において、RAGをスコアリングして評価を行う。
  論文  参考訳（メタデータ） (2024-05-22T13:14:11Z)
• The Foundations of Computational Management: A Systematic Approach to Task Automation for the Integration of Artificial Intelligence into Existing Workflows [55.2480439325792]
  本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。 この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
  論文  参考訳（メタデータ） (2024-02-07T01:45:14Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。