論文の概要: Exploring LLMs for Verifying Technical System Specifications Against Requirements

• arxiv url: http://arxiv.org/abs/2411.11582v1
• Date: Mon, 18 Nov 2024 13:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:42.853526
• Title: Exploring LLMs for Verifying Technical System Specifications Against Requirements
• Title（参考訳）: 要件に対する技術システム仕様検証のためのLCMの探索
• Authors: Lasse M. Reinpold, Marvin Schieseck, Lukas P. Wagner, Felix Gehlhoff, Alexander Fay,
• Abstract要約: 知識に基づく要求工学(KBRE)の分野は、システム要件の活用、検証、管理を支援する知識を提供することによって、技術者を支援することを目的としている。 大規模言語モデル(LLM)の出現はKBREの分野で新たな機会を開く。 本研究は, LLMの要件検証における可能性について実験的に検討する。
• 参考スコア（独自算出の注目度）: 41.19948826527649
• License:
• Abstract: Requirements engineering is a knowledge intensive process and crucial for the success of engineering projects. The field of knowledge-based requirements engineering (KBRE) aims to support engineers by providing knowledge to assist in the elicitation, validation, and management of system requirements. The advent of large language models (LLMs) opens new opportunities in the field of KBRE. This work experimentally investigates the potential of LLMs in requirements verification. Therein, LLMs are provided with a set of requirements and a textual system specification and are prompted to assess which requirements are fulfilled by the system specification. Different experimental variables such as system specification complexity, the number of requirements, and prompting strategies were analyzed. Formal rule-based systems serve as a benchmark to compare LLM performance to. Requirements and system specifications are derived from the smart-grid domain. Results show that advanced LLMs, like GPT-4o and Claude 3.5 Sonnet, achieved f1-scores between 79 % and 94 % in identifying non-fulfilled requirements, indicating potential for LLMs to be leveraged for requirements verification.
• Abstract（参考訳）: 要求工学は知識集約的なプロセスであり、エンジニアリングプロジェクトの成功に不可欠である。 知識に基づく要求工学(KBRE)の分野は、システム要件の活用、検証、管理を支援する知識を提供することによって、技術者を支援することを目的としている。 大規模言語モデル(LLM)の出現はKBREの分野で新たな機会を開く。 本研究は, LLMの要件検証における可能性について実験的に検討する。 これにより、LCMは一連の要件とテキストシステム仕様を備え、システム仕様によってどの要件が満たされているかを評価するように促される。 システム仕様の複雑さ、要求数、プロンプト戦略などの異なる実験変数が分析された。 形式的なルールベースのシステムは、LLMのパフォーマンスを比較するためのベンチマークとして機能する。 要求とシステム仕様はスマートグリッドドメインから導かれる。 その結果, GPT-4o や Claude 3.5 Sonnet のような高度な LLM は, 要求条件の特定において 79 % から 94 % の f1 スコアを達成した。

関連論文リスト

• Analysis of LLMs vs Human Experts in Requirements Engineering [0.0]
  大規模言語モデル(LLM)のソフトウェア開発への応用は、コード生成のテーマとなっている。 本研究は, LLMがソフトウェアシステムの要件を抽出する能力と, タイムボックス型およびプロンプトボックス型研究における人間専門家の要求とを比較した。
  論文  参考訳（メタデータ） (2025-01-31T16:55:17Z)
• Digital requirements engineering with an INCOSE-derived SysML meta-model [0.0]
  我々は、モデルベース構造化要求SysMLプロファイルを拡張して、要求書作成のためのINCOSEガイドに準拠します。 結果のSysMLプロファイルはNASAジェット推進研究所の2つのシステムアーキテクチャモデルに適用された。
  論文  参考訳（メタデータ） (2024-10-12T03:06:13Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Requirements are All You Need: From Requirements to Code with LLMs [0.0]
  大規模言語モデル(LLM)は、ソフトウェア工学のタスクに適用できる。 本稿では,要求文書からコードスニペットを自動生成するLLMについて述べる。 複雑なユーザ要件を解釈し、ロバストな設計とコードソリューションを作成する上で、LCMの熟練度を実証する。
  論文  参考訳（メタデータ） (2024-06-14T14:57:35Z)
• Tapping the Potential of Large Language Models as Recommender Systems: A Comprehensive Framework and Empirical Analysis [91.5632751731927]
  ChatGPTのような大規模言語モデルは、一般的なタスクを解く際、顕著な能力を示した。 本稿では,レコメンデーションタスクにおけるLLMの活用のための汎用フレームワークを提案し,レコメンデーションタスクとしてのLLMの機能に着目した。 提案手法は,提案手法が推薦結果に与える影響を解析し,提案手法とモデルアーキテクチャ,パラメータスケール,コンテキスト長について検討する。
  論文  参考訳（メタデータ） (2024-01-10T08:28:56Z)
• Identifying Concerns When Specifying Machine Learning-Enabled Systems: A Perspective-Based Approach [1.2184324428571227]
  PerSpecMLは、ML対応システムを指定するためのパースペクティブベースのアプローチである。 MLや非MLコンポーネントを含むどの属性がシステム全体の品質に寄与するかを、実践者が特定するのに役立つ。
  論文  参考訳（メタデータ） (2023-09-14T18:31:16Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。