論文の概要: Model Generation from Requirements with LLMs: an Exploratory Study

• arxiv url: http://arxiv.org/abs/2404.06371v1
• Date: Tue, 9 Apr 2024 15:07:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 14:11:18.479171
• Title: Model Generation from Requirements with LLMs: an Exploratory Study
• Title（参考訳）: LLMの必要条件からのモデル生成 : 探索的研究
• Authors: Alessio Ferrari, Sallam Abualhaija, Chetan Arora,
• Abstract要約: 本稿では,NL要求から特定のモデル,すなわちシーケンス図を生成するChatGPTの能力について検討する。 本稿では,ChatGPTが生成した28種類の要求文書と異なるドメインのシーケンス図について検討する。 以上の結果から, モデルが標準に適合し, 合理的な理解可能性を示す一方で, 要求条件に対する完全性や正当性は, しばしば課題となることが示唆された。
• 参考スコア（独自算出の注目度）: 9.114284818139069
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Complementing natural language (NL) requirements with graphical models can improve stakeholders' communication and provide directions for system design. However, creating models from requirements involves manual effort. The advent of generative large language models (LLMs), ChatGPT being a notable example, offers promising avenues for automated assistance in model generation. This paper investigates the capability of ChatGPT to generate a specific type of model, i.e., UML sequence diagrams, from NL requirements. We conduct a qualitative study in which we examine the sequence diagrams generated by ChatGPT for 28 requirements documents of various types and from different domains. Observations from the analysis of the generated diagrams have systematically been captured through evaluation logs, and categorized through thematic analysis. Our results indicate that, although the models generally conform to the standard and exhibit a reasonable level of understandability, their completeness and correctness with respect to the specified requirements often present challenges. This issue is particularly pronounced in the presence of requirements smells, such as ambiguity and inconsistency. The insights derived from this study can influence the practical utilization of LLMs in the RE process, and open the door to novel RE-specific prompting strategies targeting effective model generation.
• Abstract（参考訳）: 自然言語(NL)要求をグラフィカルモデルで補完することは、ステークホルダーのコミュニケーションを改善し、システム設計の方向性を提供する。 しかしながら、要件からモデルを作成するには、手作業が必要です。 生成型大規模言語モデル(LLM)の出現、特にChatGPTは、モデル生成における自動化支援のための有望な道を提供する。 本稿では,NL 要求から UML シーケンス図など,特定の種類のモデルを生成する ChatGPT の能力について検討する。 そこで我々は,ChatGPTが生成したシーケンス図を,さまざまなタイプの28の要件文書と異なるドメインから検証する定性的研究を行った。 生成したダイアグラムの分析から得られた観察は、評価ログを通じて体系的に捉えられ、セマンティック分析によって分類される。 以上の結果から, モデルが標準に適合し, 合理的な理解可能性を示す一方で, 要求条件に対する完全性や正当性は, しばしば課題となることが示唆された。 この問題は、曖昧さや矛盾といった要求の匂いの存在において特に顕著である。 本研究から得られた知見は,REプロセスにおけるLLMの実用化に影響を及ぼし,有効モデル生成を目的とした新しいRE特異的プロンプト戦略への扉を開くことができる。

関連論文リスト

• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Evaluation and Comparison of Visual Language Models for Transportation Engineering Problems [16.49637074299509]
  我々は、視覚に基づく輸送工学タスクのための最先端のビジョン言語モデル(VLM)について検討した。 画像分類作業は渋滞検出と亀裂識別を伴い, 物体検出ではヘルメット違反が同定された。 我々はこれらのVLMモデルの性能を評価するために、CLIP、BLIP、OWL-ViT、Llava-Next、およびクローズソースGPT-4oといったオープンソースモデルを適用した。
  論文  参考訳（メタデータ） (2024-09-03T20:24:37Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• A Systematic Evaluation of Large Language Models for Natural Language Generation Tasks [30.54635848057259]
  本稿では、よく知られた高性能な大規模言語モデル(LLM)の包括的な評価を行う。 対話生成とテキスト要約を含む英語と中国語のデータセットを選択する。 本研究は, 詳細な分析を伴って, 両自動検査の結果を報告する。
  論文  参考訳（メタデータ） (2024-05-16T16:56:54Z)
• Requirements-driven Slicing of Simulink Models Using LLMs [4.670347587555517]
  グラフィカルシミュリンクモデルからモデルスライスを抽出する大規模言語モデル(LLM)に基づく手法を提案する。 我々は、Simulinkモデルをテキスト表現に変換する際の粒度(バービシティ)の異なるレベルと、LCMを誘導する戦略が、生成されたスライスの精度にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-05-02T19:41:04Z)
• Learning to Plan and Generate Text with Citations [69.56850173097116]
  提案手法は, テキストの忠実性, 接地性, 制御性を向上させるために最近実証されたプランベースモデルの帰属性について検討する。 本稿では,異なるブループリントの変種を利用する帰属モデルと,質問をゼロから生成する抽象モデルと,質問を入力からコピーする抽出モデルを提案する。
  論文  参考訳（メタデータ） (2024-04-04T11:27:54Z)
• Sequential Modeling Enables Scalable Learning for Large Vision Models [120.91839619284431]
  本稿では,言語データを用いずにLVM(Large Vision Model)を学習できる新しい逐次モデリング手法を提案する。 我々は、生画像やビデオや注釈付きデータソースを表現できる共通フォーマット「視覚文」を定義した。
  論文  参考訳（メタデータ） (2023-12-01T18:59:57Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Enhancing Knowledge Graph Construction Using Large Language Models [0.0]
  本稿では,ChatGPTのような基礎LPMの現在の進歩を,REBELのような特定の事前学習モデルと比較し,結合実体と関係抽出について述べる。 生テキストから知識グラフを自動生成するためのパイプラインを作成し,高度なLCMモデルを用いることで,非構造化テキストからこれらのグラフを作成するプロセスの精度が向上することを示した。
  論文  参考訳（メタデータ） (2023-05-08T12:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。