論文の概要: ReqBrain: Task-Specific Instruction Tuning of LLMs for AI-Assisted Requirements Generation
- arxiv url: http://arxiv.org/abs/2505.17632v1
- Date: Fri, 23 May 2025 08:45:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 18:08:33.936015
- Title: ReqBrain: Task-Specific Instruction Tuning of LLMs for AI-Assisted Requirements Generation
- Title(参考訳): ReqBrain: AI支援要求生成のためのLLMのタスク特異的インストラクションチューニング
- Authors: Mohammad Kasra Habib, Daniel Graziotin, Stefan Wagner,
- Abstract要約: ソフトウェアエンジニアはチャットベースのセッションを通じてReqBrainと関わり、ソフトウェア要件を自動的に生成できる。
最高性能のZephyr-7b-betaは、BERTスコアとFRUGALスコアを使用して89.30%のFlを達成した。
- 参考スコア(独自算出の注目度): 4.475603469482274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Requirements elicitation and specification remains a labor-intensive, manual process prone to inconsistencies and gaps, presenting a significant challenge in modern software engineering. Emerging studies underscore the potential of employing large language models (LLMs) for automated requirements generation to support requirements elicitation and specification; however, it remains unclear how to implement this effectively. In this work, we introduce ReqBrain, an Al-assisted tool that employs a fine-tuned LLM to generate authentic and adequate software requirements. Software engineers can engage with ReqBrain through chat-based sessions to automatically generate software requirements and categorize them by type. We curated a high-quality dataset of ISO 29148-compliant requirements and fine-tuned five 7B-parameter LLMs to determine the most effective base model for ReqBrain. The top-performing model, Zephyr-7b-beta, achieved 89.30\% Fl using the BERT score and a FRUGAL score of 91.20 in generating authentic and adequate requirements. Human evaluations further confirmed ReqBrain's effectiveness in generating requirements. Our findings suggest that generative Al, when fine-tuned, has the potential to improve requirements elicitation and specification, paving the way for future extensions into areas such as defect identification, test case generation, and agile user story creation.
- Abstract(参考訳): 要件の適用と仕様は依然として労働集約的な手作業プロセスであり、不整合とギャップを伴いがちであり、現代のソフトウェアエンジニアリングにおいて大きな課題となっている。
大規模言語モデル(LLM)を自動要求生成に活用して要求の導出と仕様を支援するという新たな研究の可能性を浮き彫りにしているが、どのようにこれを効果的に実装するかは不明だ。
本研究で紹介するReqBrainは,高度に調整されたLCMを用いて,真正かつ適切なソフトウェア要件を生成するAl支援ツールである。
ソフトウェアエンジニアはチャットベースのセッションを通じてReqBrainと関わり、ソフトウェア要件を自動的に生成し、タイプ別に分類することができる。
我々は,ISO 29148準拠要件の高品質なデータセットをキュレートし,ReqBrainの最も効果的なベースモデルを決定するために5つの7BパラメータLPMを微調整した。
最高性能のZephyr-7b-betaは、BERTスコアとFRUGALスコアを用いて89.30\% Flを達成した。
人間の評価はReqBrainの要求生成における有効性をさらに確認した。
我々の研究結果は、生成Alは、微調整された場合、要求の誘導と仕様を改善する可能性があり、欠陥識別、テストケース生成、アジャイルユーザストーリー生成といった分野への将来の拡張の道を開くことを示唆している。
関連論文リスト
- AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。
AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
論文 参考訳(メタデータ) (2025-05-22T17:31:10Z) - Requirements-Driven Automated Software Testing: A Systematic Review [13.67495800498868]
本研究では,REDAST研究の現状を整理し,今後の方向性について考察する。
この体系的な文献レビュー(SLR)は、要求入力、変換技術、テスト結果、評価方法、既存の制限を分析して、REDASTの展望を探求する。
論文 参考訳(メタデータ) (2025-02-25T23:13:09Z) - Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。
しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。
本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
論文 参考訳(メタデータ) (2025-02-20T18:32:19Z) - The Potential of LLMs in Automating Software Testing: From Generation to Reporting [0.0]
手動テストは効果的だが、時間とコストがかかり、自動化メソッドの需要が増大する。
大規模言語モデル(LLM)の最近の進歩は、ソフトウェア工学に大きな影響を与えている。
本稿では,人間の介入を減らし,テスト効率を向上させるため,LSMを用いた自動ソフトウェアテストに対するエージェント指向アプローチについて検討する。
論文 参考訳(メタデータ) (2024-12-31T02:06:46Z) - Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
不確実性定量化は機械学習アプリケーションにおいて重要な要素である。
最新のUQベースラインの集合を実装した新しいベンチマークを導入する。
我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
論文 参考訳(メタデータ) (2024-06-21T20:06:31Z) - Requirements are All You Need: From Requirements to Code with LLMs [0.0]
大規模言語モデル(LLM)は、ソフトウェア工学のタスクに適用できる。
本稿では,要求文書からコードスニペットを自動生成するLLMについて述べる。
複雑なユーザ要件を解釈し、ロバストな設計とコードソリューションを作成する上で、LCMの熟練度を実証する。
論文 参考訳(メタデータ) (2024-06-14T14:57:35Z) - An approach for performance requirements verification and test
environments generation [1.359087929215203]
モデルに基づく性能試験の系統的なマッピングを行った。
自然言語ソフトウェア要件の仕様について検討し、どの要件が典型的に規定されているか、そしてどのようにパフォーマンス要件が規定されているかを理解する。
MBT技術はいずれもモデリングの大きな利点を支えなかったため,本手法は性能要件を検証し,テスト環境のジェネラティオンアプローチを開発した。
論文 参考訳(メタデータ) (2024-02-29T19:59:26Z) - Towards Generating Executable Metamorphic Relations Using Large Language Models [46.26208489175692]
大規模言語モデル(LLM)を用いた要件から実行可能なMRを自動的に抽出する手法を提案する。
提案手法の有効性を評価するため,シーメンス・インダストリー・ソフトウェアと共同で質問紙調査を行った。
論文 参考訳(メタデータ) (2024-01-30T13:52:47Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳(メタデータ) (2022-07-05T02:42:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。