論文の概要: Exploring LLMs for Verifying Technical System Specifications Against Requirements

• arxiv url: http://arxiv.org/abs/2411.11582v1
• Date: Mon, 18 Nov 2024 13:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:42.853526
• Title: Exploring LLMs for Verifying Technical System Specifications Against Requirements
• Title（参考訳）: 要件に対する技術システム仕様検証のためのLCMの探索
• Authors: Lasse M. Reinpold, Marvin Schieseck, Lukas P. Wagner, Felix Gehlhoff, Alexander Fay,
• Abstract要約: 知識に基づく要求工学(KBRE)の分野は、システム要件の活用、検証、管理を支援する知識を提供することによって、技術者を支援することを目的としている。 大規模言語モデル(LLM)の出現はKBREの分野で新たな機会を開く。 本研究は, LLMの要件検証における可能性について実験的に検討する。
• 参考スコア（独自算出の注目度）: 41.19948826527649
• License:
• Abstract: Requirements engineering is a knowledge intensive process and crucial for the success of engineering projects. The field of knowledge-based requirements engineering (KBRE) aims to support engineers by providing knowledge to assist in the elicitation, validation, and management of system requirements. The advent of large language models (LLMs) opens new opportunities in the field of KBRE. This work experimentally investigates the potential of LLMs in requirements verification. Therein, LLMs are provided with a set of requirements and a textual system specification and are prompted to assess which requirements are fulfilled by the system specification. Different experimental variables such as system specification complexity, the number of requirements, and prompting strategies were analyzed. Formal rule-based systems serve as a benchmark to compare LLM performance to. Requirements and system specifications are derived from the smart-grid domain. Results show that advanced LLMs, like GPT-4o and Claude 3.5 Sonnet, achieved f1-scores between 79 % and 94 % in identifying non-fulfilled requirements, indicating potential for LLMs to be leveraged for requirements verification.
• Abstract（参考訳）: 要求工学は知識集約的なプロセスであり、エンジニアリングプロジェクトの成功に不可欠である。 知識に基づく要求工学(KBRE)の分野は、システム要件の活用、検証、管理を支援する知識を提供することによって、技術者を支援することを目的としている。 大規模言語モデル(LLM)の出現はKBREの分野で新たな機会を開く。 本研究は, LLMの要件検証における可能性について実験的に検討する。 これにより、LCMは一連の要件とテキストシステム仕様を備え、システム仕様によってどの要件が満たされているかを評価するように促される。 システム仕様の複雑さ、要求数、プロンプト戦略などの異なる実験変数が分析された。 形式的なルールベースのシステムは、LLMのパフォーマンスを比較するためのベンチマークとして機能する。 要求とシステム仕様はスマートグリッドドメインから導かれる。 その結果, GPT-4o や Claude 3.5 Sonnet のような高度な LLM は, 要求条件の特定において 79 % から 94 % の f1 スコアを達成した。

関連論文リスト

• Digital requirements engineering with an INCOSE-derived SysML meta-model [0.0]
  我々は、モデルベース構造化要求SysMLプロファイルを拡張して、要求書作成のためのINCOSEガイドに準拠します。 結果のSysMLプロファイルはNASAジェット推進研究所の2つのシステムアーキテクチャモデルに適用された。
  論文  参考訳（メタデータ） (2024-10-12T03:06:13Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Requirements are All You Need: From Requirements to Code with LLMs [0.0]
  大規模言語モデル(LLM)は、ソフトウェア工学のタスクに適用できる。 本稿では,要求文書からコードスニペットを自動生成するLLMについて述べる。 複雑なユーザ要件を解釈し、ロバストな設計とコードソリューションを作成する上で、LCMの熟練度を実証する。
  論文  参考訳（メタデータ） (2024-06-14T14:57:35Z)
• Using LLMs in Software Requirements Specifications: An Empirical Evaluation [0.2812395851874055]
  ソフトウェア要件仕様のドラフト作成におけるGPT-4とCodeLlamaの性能を評価する。 この結果から,LSMはエントリーレベルのソフトウェア技術者の出力品質と一致し,SRSを生成できることが示唆された。 LLMは、生産性を向上させるために、ソフトウェアエンジニアによって有利に使用できると結論付けています。
  論文  参考訳（メタデータ） (2024-04-27T09:37:00Z)
• When does In-context Learning Fall Short and Why? A Study on Specification-Heavy Tasks [54.71034943526973]
  In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。 ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。 我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
  論文  参考訳（メタデータ） (2023-11-15T14:26:30Z)
• Identifying Concerns When Specifying Machine Learning-Enabled Systems: A Perspective-Based Approach [1.2184324428571227]
  PerSpecMLは、ML対応システムを指定するためのパースペクティブベースのアプローチである。 MLや非MLコンポーネントを含むどの属性がシステム全体の品質に寄与するかを、実践者が特定するのに役立つ。
  論文  参考訳（メタデータ） (2023-09-14T18:31:16Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。