論文の概要: RECOVER: Toward Requirements Generation from Stakeholders' Conversations
- arxiv url: http://arxiv.org/abs/2411.19552v2
- Date: Sat, 17 May 2025 12:11:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:10.31621
- Title: RECOVER: Toward Requirements Generation from Stakeholders' Conversations
- Title(参考訳): レコーバー:株主の会話から要求生成に向けて
- Authors: Gianmario Voria, Francesco Casillo, Carmine Gravino, Gemma Catolino, Fabio Palomba,
- Abstract要約: 本稿では,会話要求工学の新たなアプローチであるRECOVERを紹介する。
利害関係者のインタラクションからシステム要件を自動的に抽出する実践者を支援する。
経験的評価は、十分な正確性、完全性、実行可能性を示す要求が生成された、有望なパフォーマンスを示す。
- 参考スコア(独自算出の注目度): 10.706772429994384
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stakeholders' conversations in requirements elicitation meetings hold valuable insights into system and client needs. However, manually extracting requirements is time-consuming, labor-intensive, and prone to errors and biases. While current state-of-the-art methods assist in summarizing stakeholder conversations and classifying requirements based on their nature, there is a noticeable lack of approaches capable of both identifying requirements within these conversations and generating corresponding system requirements. These approaches would assist requirement identification, reducing engineers' workload, time, and effort. To address this gap, this paper introduces RECOVER (Requirements EliCitation frOm conVERsations), a novel conversational requirements engineering approach that leverages natural language processing and large language models (LLMs) to support practitioners in automatically extracting system requirements from stakeholder interactions. The approach is evaluated using a mixed-method study that combines performance analysis with a user study involving requirements engineers, targeting two levels of granularity. First, at the conversation turn level, the evaluation measures RECOVER's accuracy in identifying requirements-relevant dialogue and the quality of generated requirements in terms of correctness, completeness, and actionability. Second, at the entire conversation level, the evaluation assesses the overall usefulness and effectiveness of RECOVER in synthesizing comprehensive system requirements from full stakeholder discussions. Empirical evaluation of RECOVER shows promising performance, with generated requirements demonstrating satisfactory correctness, completeness, and actionability. The results also highlight the potential of automating requirements elicitation from conversations as an aid that enhances efficiency while maintaining human oversight
- Abstract(参考訳): 要件付与ミーティングにおけるステークホルダの会話は、システムとクライアントのニーズに対する貴重な洞察を与えます。
しかしながら、手動で要件を抽出することは、時間がかかり、労働集約的であり、エラーやバイアスが生じる傾向がある。
現在の最先端の手法は、ステークホルダーの会話を要約し、その性質に基づいて要求を分類するのに役立つが、これらの会話の中で要求を識別し、対応するシステム要件を生成できるアプローチの欠如は顕著である。
これらのアプローチは要件の識別を支援し、エンジニアの作業量、時間、労力を削減する。
本稿では,自然言語処理と大規模言語モデル(LLM)を活用した対話型要求工学手法であるRECOVER(Requirements EliCitation frOm Conversations)を紹介する。
このアプローチは、パフォーマンス分析と要件エンジニアを含むユーザスタディを組み合わせて、2レベルの粒度を目標とする混合メソッドスタディを用いて評価される。
まず,会話のターンレベルでは,要求関連対話の同定におけるRECOVERの精度と生成要求の品質を,正確性,完全性,行動可能性の観点から評価する。
第2に,総合的なシステム要件を全利害関係者の議論から合成する上で,RECOVERの総合的有用性と有効性を評価する。
RECOVERの実証的な評価は、十分な正確性、完全性、実行可能性を示す要求が生成されることによって、有望なパフォーマンスを示す。
また、人間の監視を維持しながら効率を向上する支援として、会話からの要求自動導入の可能性も強調された。
関連論文リスト
- Do Retrieval-Augmented Language Models Adapt to Varying User Needs? [28.729041459278587]
本稿では,3つのユーザニーズ条件下でALMを体系的に評価する新しい評価フレームワークを提案する。
ユーザインストラクションと検索された情報の性質の両方を変えることで、我々のアプローチは現実世界のアプリケーションの複雑さを捉えます。
本研究は,検索システム開発におけるユーザ中心評価の必要性を浮き彫りにするものである。
論文 参考訳(メタデータ) (2025-02-27T05:39:38Z) - Turning Conversations into Workflows: A Framework to Extract and Evaluate Dialog Workflows for Service AI Agents [65.36060818857109]
本稿では,過去の対話から対話を抽出し,評価するための新しい枠組みを提案する。
抽出プロセスは,(1)重要な手続き的要素に基づいて関連する会話を選択するための検索ステップ,(2)質問応答に基づくチェーン・オブ・シークレット(QA-CoT)プロンプトを用いた構造化ワークフロー生成プロセスの2つの主要な段階から構成される。
論文 参考訳(メタデータ) (2025-02-24T16:55:15Z) - Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。
我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文 参考訳(メタデータ) (2024-12-16T19:11:55Z) - An Adaptive Framework for Generating Systematic Explanatory Answer in Online Q&A Platforms [62.878616839799776]
質問応答(QA)性能を向上させるために設計された,革新的なフレームワークであるSynthRAGを提案する。
SynthRAGは動的コンテンツの構造化に適応的なアウトラインを用いることで従来のモデルを改善する。
Zhihuプラットフォーム上のオンラインデプロイメントでは、SynthRAGの回答が注目すべきユーザエンゲージメントを実現していることが明らかになった。
論文 参考訳(メタデータ) (2024-10-23T09:14:57Z) - VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。
VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
論文 参考訳(メタデータ) (2024-09-18T16:10:47Z) - RAG based Question-Answering for Contextual Response Prediction System [0.4660328753262075]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて汎用性を示している。
Retrieval Augmented Generation (RAG)は、この課題に対処するための有望な技術として登場した。
本稿では,産業用ユースケースにRAG機能を備えたLCMを用いたエンドツーエンドフレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-05T17:14:23Z) - Status Quo and Problems of Requirements Engineering for Machine
Learning: Results from an International Survey [7.164324501049983]
要求工学(RE)は、機械学習対応システムにおいて多くの問題を解決するのに役立つ。
我々は,ML対応システムにおけるREの現状と問題点について,実践者の知見を収集する調査を行った。
MLプロジェクトでは,REプラクティスに有意な違いが認められた。
論文 参考訳(メタデータ) (2023-10-10T15:53:50Z) - PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded
Dialogue Systems [59.1250765143521]
現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。
我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。
対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
論文 参考訳(メタデータ) (2023-09-19T08:27:09Z) - Investigating ChatGPT's Potential to Assist in Requirements Elicitation
Processes [4.797371814812294]
ジェネレーティブAIベースのNLPツールと要件適用技術の利用に関する研究はほとんどない。
ChatGPTのような大規模言語モデル(LLM)は、NLPタスクのパフォーマンスが顕著に向上したため、大きな評価を得ている。
また,ChatGPTが生成する要件の質を,人間の専門家が定式化した要件と比較した結果,ChatGPTが生成する要件は,高度に抽象化,アトミック,一貫性,整合性,理解可能であることがわかった。
論文 参考訳(メタデータ) (2023-07-14T14:45:36Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2021-02-20T03:29:20Z) - Contextualized Attention-based Knowledge Transfer for Spoken
Conversational Question Answering [63.72278693825945]
音声対話型質問応答 (SCQA) は複雑な対話の流れをモデル化するために機械を必要とする。
本稿では,新しい文脈型注意型蒸留手法CADNetを提案する。
Spoken-CoQAデータセット上で広範な実験を行い、本手法が優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2020-10-21T15:17:18Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳(メタデータ) (2020-09-14T08:44:46Z) - Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term
Importance Estimation and Neural Query Rewriting [56.268862325167575]
マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。
本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。
前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。
後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
論文 参考訳(メタデータ) (2020-05-05T14:30:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。