論文の概要: Analysis of LLMs vs Human Experts in Requirements Engineering

• arxiv url: http://arxiv.org/abs/2501.19297v1
• Date: Fri, 31 Jan 2025 16:55:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:47.036242
• Title: Analysis of LLMs vs Human Experts in Requirements Engineering
• Title（参考訳）: 要求工学におけるLLMと人間専門家の比較分析
• Authors: Cory Hymel, Hiroe Johnson,
• Abstract要約: 大規模言語モデル(LLM)のソフトウェア開発への応用は、コード生成のテーマとなっている。 本研究は, LLMがソフトウェアシステムの要件を抽出する能力と, タイムボックス型およびプロンプトボックス型研究における人間専門家の要求とを比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The majority of research around Large Language Models (LLM) application to software development has been on the subject of code generation. There is little literature on LLMs' impact on requirements engineering (RE), which deals with the process of developing and verifying the system requirements. Within RE, there is a subdiscipline of requirements elicitation, which is the practice of discovering and documenting requirements for a system from users, customers, and other stakeholders. In this analysis, we compare LLM's ability to elicit requirements of a software system, as compared to that of a human expert in a time-boxed and prompt-boxed study. We found LLM-generated requirements were evaluated as more aligned (+1.12) than human-generated requirements with a trend of being more complete (+10.2%). Conversely, we found users tended to believe that solutions they perceived as more aligned had been generated by human experts. Furthermore, while LLM-generated documents scored higher and performed at 720x the speed, their cost was, on average, only 0.06% that of a human expert. Overall, these findings indicate that LLMs will play an increasingly important role in requirements engineering by improving requirements definitions, enabling more efficient resource allocation, and reducing overall project timelines.
• Abstract（参考訳）: ソフトウェア開発におけるLLM(Large Language Models)アプリケーションに関する研究の大部分は、コード生成に関するものだ。 LLMが要件エンジニアリング(RE)に与える影響については,システム要件の開発と検証のプロセスを扱う文献がほとんどありません。 REには、ユーザー、顧客、その他の利害関係者からシステムの要求を発見し、文書化するプラクティスである、要件適用のサブカテゴリがあります。 本分析では,LLMがソフトウェアシステムの要件を抽出する能力と,タイムボックス型およびプロンプトボックス型研究における人的専門家の要求とを比較した。 LLMの要件は、人為的な要件よりも整合性が高い(+1.12)と評価され、その傾向はより完全である(+10.2%)。 逆に、ユーザーは、より整合性が高いと認識されたソリューションが、人間の専門家によって生み出されたと信じがちであることがわかった。 さらに、LCM生成文書は720倍の速さで高い結果を得たが、そのコストは人的専門家の0.06%に過ぎなかった。 これらの結果は、LCMが要件定義を改善し、より効率的なリソース割り当てを可能にし、プロジェクト全体のスケジュールを短縮することで、要件エンジニアリングにおいてますます重要な役割を果たすことを示唆している。

関連論文リスト

• Exploring LLMs for Verifying Technical System Specifications Against Requirements [41.19948826527649]
  知識に基づく要求工学(KBRE)の分野は、システム要件の活用、検証、管理を支援する知識を提供することによって、技術者を支援することを目的としている。 大規模言語モデル(LLM)の出現はKBREの分野で新たな機会を開く。 本研究は, LLMの要件検証における可能性について実験的に検討する。
  論文  参考訳（メタデータ） (2024-11-18T13:59:29Z)
• From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future [15.568939568441317]
  本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。 特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。 我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
  論文  参考訳（メタデータ） (2024-08-05T14:01:15Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Using LLMs in Software Requirements Specifications: An Empirical Evaluation [0.2812395851874055]
  ソフトウェア要件仕様のドラフト作成におけるGPT-4とCodeLlamaの性能を評価する。 この結果から,LSMはエントリーレベルのソフトウェア技術者の出力品質と一致し,SRSを生成できることが示唆された。 LLMは、生産性を向上させるために、ソフトウェアエンジニアによって有利に使用できると結論付けています。
  論文  参考訳（メタデータ） (2024-04-27T09:37:00Z)
• Elicitron: An LLM Agent-Based Simulation Framework for Design Requirements Elicitation [38.98478510165569]
  本稿では,Large Language Models (LLMs) を利用した新たなフレームワークを提案する。 LLMは多数のシミュレーションユーザ(LLMエージェント)を生成するために使用され、より広い範囲のユーザニーズの探索を可能にする。
  論文  参考訳（メタデータ） (2024-04-04T17:36:29Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Towards an Understanding of Large Language Models in Software Engineering Tasks [29.30433406449331]
  大規模言語モデル(LLM)は、テキスト生成や推論タスクにおける驚くべきパフォーマンスのために、広く注目を集め、研究している。 コード生成などのソフトウェア工学タスクにおけるLLMの評価と最適化が研究の焦点となっている。 本稿では,LLMとソフトウェア工学を組み合わせた研究・製品について包括的に検討・検討する。
  論文  参考訳（メタデータ） (2023-08-22T12:37:29Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。