論文の概要: Model Generation from Requirements with LLMs: an Exploratory Study
- arxiv url: http://arxiv.org/abs/2404.06371v1
- Date: Tue, 9 Apr 2024 15:07:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 14:11:18.479171
- Title: Model Generation from Requirements with LLMs: an Exploratory Study
- Title(参考訳): LLMの必要条件からのモデル生成 : 探索的研究
- Authors: Alessio Ferrari, Sallam Abualhaija, Chetan Arora,
- Abstract要約: 本稿では,NL要求から特定のモデル,すなわちシーケンス図を生成するChatGPTの能力について検討する。
本稿では,ChatGPTが生成した28種類の要求文書と異なるドメインのシーケンス図について検討する。
以上の結果から, モデルが標準に適合し, 合理的な理解可能性を示す一方で, 要求条件に対する完全性や正当性は, しばしば課題となることが示唆された。
- 参考スコア(独自算出の注目度): 9.114284818139069
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Complementing natural language (NL) requirements with graphical models can improve stakeholders' communication and provide directions for system design. However, creating models from requirements involves manual effort. The advent of generative large language models (LLMs), ChatGPT being a notable example, offers promising avenues for automated assistance in model generation. This paper investigates the capability of ChatGPT to generate a specific type of model, i.e., UML sequence diagrams, from NL requirements. We conduct a qualitative study in which we examine the sequence diagrams generated by ChatGPT for 28 requirements documents of various types and from different domains. Observations from the analysis of the generated diagrams have systematically been captured through evaluation logs, and categorized through thematic analysis. Our results indicate that, although the models generally conform to the standard and exhibit a reasonable level of understandability, their completeness and correctness with respect to the specified requirements often present challenges. This issue is particularly pronounced in the presence of requirements smells, such as ambiguity and inconsistency. The insights derived from this study can influence the practical utilization of LLMs in the RE process, and open the door to novel RE-specific prompting strategies targeting effective model generation.
- Abstract(参考訳): 自然言語(NL)要求をグラフィカルモデルで補完することは、ステークホルダーのコミュニケーションを改善し、システム設計の方向性を提供する。
しかしながら、要件からモデルを作成するには、手作業が必要です。
生成型大規模言語モデル(LLM)の出現、特にChatGPTは、モデル生成における自動化支援のための有望な道を提供する。
本稿では,NL 要求から UML シーケンス図など,特定の種類のモデルを生成する ChatGPT の能力について検討する。
そこで我々は,ChatGPTが生成したシーケンス図を,さまざまなタイプの28の要件文書と異なるドメインから検証する定性的研究を行った。
生成したダイアグラムの分析から得られた観察は、評価ログを通じて体系的に捉えられ、セマンティック分析によって分類される。
以上の結果から, モデルが標準に適合し, 合理的な理解可能性を示す一方で, 要求条件に対する完全性や正当性は, しばしば課題となることが示唆された。
この問題は、曖昧さや矛盾といった要求の匂いの存在において特に顕著である。
本研究から得られた知見は,REプロセスにおけるLLMの実用化に影響を及ぼし,有効モデル生成を目的とした新しいRE特異的プロンプト戦略への扉を開くことができる。
関連論文リスト
- Learning to Plan and Generate Text with Citations [69.56850173097116]
提案手法は, テキストの忠実性, 接地性, 制御性を向上させるために最近実証されたプランベースモデルの帰属性について検討する。
本稿では,異なるブループリントの変種を利用する帰属モデルと,質問をゼロから生成する抽象モデルと,質問を入力からコピーする抽出モデルを提案する。
論文 参考訳(メタデータ) (2024-04-04T11:27:54Z) - An Interpretable Ensemble of Graph and Language Models for Improving
Search Relevance in E-Commerce [22.449320058423886]
プラグアンドプレイグラフLanguage Model (PP-GLAM) を提案する。
このアプローチでは、均一なデータ処理パイプラインを備えたモジュラーフレームワークを使用します。
PP-GLAMは,実世界のマルチリンガル,マルチリージョンのeコマースデータセット上で,最先端のベースラインとプロプライエタリなモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2024-03-01T19:08:25Z) - Exploring Precision and Recall to assess the quality and diversity of
LLMs [86.33540332994781]
本稿では,Llama-2やMistralといった大規模言語モデル(LLM)の新たな評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳(メタデータ) (2024-02-16T13:53:26Z) - Disentangled Representation Learning with Large Language Models for
Text-Attributed Graphs [57.052160123387104]
本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。
提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。
実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
論文 参考訳(メタデータ) (2023-10-27T14:00:04Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - A Systematic Survey of Prompt Engineering on Vision-Language Foundation
Models [43.35892536887404]
プロンプトエンジニアリングは、新しいタスクにモデルを適応させるために、プロンプトとして知られるタスク固有のヒントで、トレーニング済みの大きなモデルを拡張することを含む。
本稿では,3種類の視覚言語モデルについて,最先端の研究の総合的な調査を行うことを目的とする。
論文 参考訳(メタデータ) (2023-07-24T17:58:06Z) - On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。
タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文 参考訳(メタデータ) (2023-07-04T02:47:42Z) - Enhancing Knowledge Graph Construction Using Large Language Models [0.0]
本稿では,ChatGPTのような基礎LPMの現在の進歩を,REBELのような特定の事前学習モデルと比較し,結合実体と関係抽出について述べる。
生テキストから知識グラフを自動生成するためのパイプラインを作成し,高度なLCMモデルを用いることで,非構造化テキストからこれらのグラフを作成するプロセスの精度が向上することを示した。
論文 参考訳(メタデータ) (2023-05-08T12:53:06Z) - Empirical Evaluation of ChatGPT on Requirements Information Retrieval
Under Zero-Shot Setting [12.733403458944972]
要求情報検索タスクにおいてChatGPTの性能を実証的に評価する。
ゼロショット設定では、ChatGPTが要求情報を検索する有望な能力を示す。
論文 参考訳(メタデータ) (2023-04-25T04:09:45Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。