論文の概要: Investigating ChatGPT's Potential to Assist in Requirements Elicitation
Processes
- arxiv url: http://arxiv.org/abs/2307.07381v1
- Date: Fri, 14 Jul 2023 14:45:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 17:35:06.730013
- Title: Investigating ChatGPT's Potential to Assist in Requirements Elicitation
Processes
- Title（参考訳）: ChatGPTが要求緩和プロセスを支援する可能性を探る
- Authors: Krishna Ronanki, Christian Berger, Jennifer Horkoff
- Abstract要約: ジェネレーティブAIベースのNLPツールと要件適用技術の利用に関する研究はほとんどない。
ChatGPTのような大規模言語モデル(LLM)は、NLPタスクのパフォーマンスが顕著に向上したため、大きな評価を得ている。
また,ChatGPTが生成する要件の質を,人間の専門家が定式化した要件と比較した結果,ChatGPTが生成する要件は,高度に抽象化,アトミック,一貫性,整合性,理解可能であることがわかった。
- 参考スコア（独自算出の注目度）: 4.797371814812294
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Natural Language Processing (NLP) for Requirements Engineering (RE) (NLP4RE)
seeks to apply NLP tools, techniques, and resources to the RE process to
increase the quality of the requirements. There is little research involving
the utilization of Generative AI-based NLP tools and techniques for
requirements elicitation. In recent times, Large Language Models (LLM) like
ChatGPT have gained significant recognition due to their notably improved
performance in NLP tasks. To explore the potential of ChatGPT to assist in
requirements elicitation processes, we formulated six questions to elicit
requirements using ChatGPT. Using the same six questions, we conducted
interview-based surveys with five RE experts from academia and industry and
collected 30 responses containing requirements. The quality of these 36
responses (human-formulated + ChatGPT-generated) was evaluated over seven
different requirements quality attributes by another five RE experts through a
second round of interview-based surveys. In comparing the quality of
requirements generated by ChatGPT with those formulated by human experts, we
found that ChatGPT-generated requirements are highly Abstract, Atomic,
Consistent, Correct, and Understandable. Based on these results, we present the
most pressing issues related to LLMs and what future research should focus on
to leverage the emergent behaviour of LLMs more effectively in natural
language-based RE activities.
- Abstract（参考訳）: 自然言語処理 (NLP) for Requirements Engineering (RE) (NLP4RE) は、要求の質を高めるために、NLPツール、技術、リソースをREプロセスに適用することを目指している。
ジェネレーティブAIベースのNLPツールと要件適用技術の利用に関する研究はほとんどない。
近年、ChatGPTのようなLarge Language Models (LLM) は、NLPタスクのパフォーマンスが顕著に向上したため、大きな評価を得ている。
また,ChatGPTの要件抽出プロセスを支援する可能性を探るため,ChatGPTを用いて6つの質問を定式化した。
同じ6つの質問を用いて,学界と産業界の5人の専門家による面接ベースの調査を行い,要求事項を含む30の回答を得た。
質問紙調査の第2ラウンドを通じて,これら36回答の質(人型+チャットGPT生成)を,他の5人のRE専門家による7つの要件品質属性で評価した。
また,ChatGPTが生成する要件の質を,人間の専門家が定式化した要件と比較した結果,ChatGPTが生成する要件は,高度に抽象化,アトミック,一貫性,整合性,理解可能であることがわかった。
これらの結果に基づき,llmに関する最も差し迫った課題と,自然言語に基づくre活動においてllmの創発的行動をより効果的に活用するための今後の研究について述べる。
関連論文リスト
- SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。
本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。
我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
論文 参考訳（メタデータ） (2024-09-11T17:37:48Z) - MACAROON: Training Vision-Language Models To Be Your Engaged Partners [95.32771929749514]
大規模視覚言語モデル(LVLM)は、質問が曖昧でラベルが付されていない場合でも詳細な応答を生成する。
本研究では,LVLMを受動的回答提供者から積極的参加パートナーへ移行することを目的とする。
我々は、LVLMに対して、ラベルなし質問に対するコントラスト応答対を自律的に生成するように指示する、ContrAstive pReference Optimizationのための自己iMaginAtionであるMACAROONを紹介する。
論文 参考訳（メタデータ） (2024-06-20T09:27:33Z) - Practical Guidelines for the Selection and Evaluation of Natural Language Processing Techniques in Requirements Engineering [8.779031107963942]
自然言語(NL)は現在、要求自動化の基盤となっている。
多くの異なるNLPソリューション戦略が利用可能であるため、特定のREタスクに対して適切な戦略を選択することは困難である。
特に,従来のNLP,特徴ベース機械学習,言語モデルに基づく手法など,さまざまな戦略を選択する方法について議論する。
論文 参考訳（メタデータ） (2024-01-03T02:24:35Z) - The Shifted and The Overlooked: A Task-oriented Investigation of
User-GPT Interactions [114.67699010359637]
実際のユーザクエリの大規模なコレクションをGPTに解析する。
ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
論文 参考訳（メタデータ） (2023-10-19T02:12:17Z) - Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。
そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。
NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
論文 参考訳（メタデータ） (2023-06-16T09:40:05Z) - Empirical Evaluation of ChatGPT on Requirements Information Retrieval
Under Zero-Shot Setting [12.733403458944972]
要求情報検索タスクにおいてChatGPTの性能を実証的に評価する。
ゼロショット設定では、ChatGPTが要求情報を検索する有望な能力を示す。
論文 参考訳（メタデータ） (2023-04-25T04:09:45Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳（メタデータ） (2023-03-08T03:56:31Z) - ChatGPT: Jack of all trades, master of none [4.693597927153063]
OpenAIはChat Generative Pre-trained Transformer (ChatGPT)をリリースした。
25種類のNLPタスクにおけるChatGPTの機能について検討した。
われわれはChatGPTとGPT-4のプロンプト処理を自動化し,49k以上の応答を解析した。
論文 参考訳（メタデータ） (2023-02-21T15:20:37Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。