論文の概要: Large Language Models for Requirements Engineering: A Cross-Task Empirical Evaluation
- arxiv url: http://arxiv.org/abs/2608.21531v1
- Date: Fri, 21 Aug 2026 18:09:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:36.910084
- Title: Large Language Models for Requirements Engineering: A Cross-Task Empirical Evaluation
- Title（参考訳）: 要求工学のための大規模言語モデル:クロスタスク実証評価
- Abstract要約: 大規模言語モデル(LLM)は多くの要求工学(RE)活動をサポートすることができる。
既存のエビデンスは、タスク、アーティファクトタイプ、評価設定で断片化されます。
本研究は,5つのRE関連活動におけるLSMを評価するための2つの相補的な研究である。
- 参考スコア（独自算出の注目度）: 2.8202756171824315
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Requirements-related information is scattered across heterogeneous artefacts such as user feedback, developer discussions, and software repositories, making the extraction of actionable requirements knowledge labour-intensive and hard to scale. Large Language Models (LLMs) can support many Requirements Engineering (RE) activities, from classification and traceability identification to specification and explanation generation, but existing evidence is fragmented across tasks, artefact types, and evaluation settings, and studies rarely offer cross-task evaluations or replication packages. We present two complementary empirical studies evaluating LLMs across five RE-related activities. The first is a controlled experiment on five lightweight open-source LLMs for feedback-driven requirements classification and specification generation. The second is an exploratory industrial case study on two frontier LLMs for traceability link identification and traceability explanation generation using real project artefacts. Classification and traceability identification were assessed with quantitative metrics, and generation tasks through human evaluation. LLM performance is strongly task-dependent, ranging from moderate to high, and no single model consistently outperformed the others, indicating that effective adoption depends on selecting models and prompting strategies per task. Our contributions are: (i) the first cross-task empirical evaluation of LLMs spanning five RE-related activities, (ii) replication materials supporting reproducibility, and (iii) a broader understanding of the capabilities, limitations, and practical readiness of current LLMs for RE.
- Abstract（参考訳）: 要求関連情報は、ユーザフィードバック、開発者ディスカッション、ソフトウェアリポジトリなど、異質なアーティファクトに分散し、実行可能な要求知識の抽出を労働集約的でスケールし難いものにします。
大きな言語モデル(LLM)は、分類やトレーサビリティの識別から仕様や説明生成に至るまで、多くの要求工学(RE)アクティビティをサポートすることができるが、既存の証拠はタスク、アーティファクトタイプ、評価設定で断片化されており、研究はクロスタスク評価や複製パッケージをほとんど提供しない。
本研究は,5つのRE関連活動のLSMを評価するための2つの相補的実証研究について述べる。
1つ目は、フィードバック駆動の要求分類と仕様生成のための5つの軽量オープンソース LLM の制御実験である。
2つ目は、実プロジェクト成果物を用いたトレーサビリティリンク識別とトレーサビリティ説明生成のための2つのフロンティアLCMに関する探索的産業ケーススタディである。
分類とトレーサビリティの同定は定量的な測定値と人的評価による生成タスクを用いて評価した。
LLMのパフォーマンスは、中程度のものから高いものまで、強いタスク依存であり、一方のモデルは、他のモデルよりも一貫して優れており、効果的な採用は、モデルの選択とタスク毎の戦略の推進に依存していることを示している。
私たちの貢献は次のとおりです。
i)5つのRE関連活動にまたがるLDMのクロスタスク実験による最初の評価
二 再現性を支える複製材料、及び
三 REのための現在のLLMの能力、限界、実用性に関するより広範な理解。
関連論文リスト
- A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation [59.98516959731531]
抽象推論能力は、抽象ルールを抽出し適用するためのLLMの知性と能力を反映する。
既存のベンチマークは、高価な手作業のアノテーション、そのスケールの制限、あるいは真の推論ではなく暗記のリスク測定に頼っている。
我々はA2RBenchという名の自動パイプラインを導入し、生成、拡張、評価、分析を行う。
論文 参考訳（メタデータ） (2026-05-17T06:14:20Z) - Class Model Generation from Requirements using Large Language Models [5.685497917524985]
大規模言語モデル(LLM)は、自然言語要求から自動的にクラス図を生成することができる。
本稿では,GPT-5,Claude Sonnet 4.0,Gemini 2.5 Flash Thinking,Llama-3.1-8-B-Instructなどの最先端LLMの能力について検討する。
論文 参考訳（メタデータ） (2026-03-10T02:20:35Z) - From Online User Feedback to Requirements: Evaluating Large Language Models for Classification and Specification Tasks [0.777471208829183]
大規模言語モデル(LLM)は、オンラインユーザフィードバックの分析を自動化する強力な可能性を示している。
既存の研究は限定的な実証的な証拠を提供し、徹底的な評価を欠いており、複製パッケージはめったに提供していない。
我々は,3つの要求工学(RE)タスクにおいて,5つの軽量オープンソースLCMを評価した。
論文 参考訳（メタデータ） (2025-10-27T06:33:01Z) - How Effective are Generative Large Language Models in Performing Requirements Classification? [4.429729688079712]
本研究では,2次および複数クラスの要件分類を行う3つの生成的大規模言語モデル(LLM)の有効性について検討した。
我々の研究は、素早い設計やLLMアーキテクチャといった要因は普遍的に重要であるが、データセットのバリエーションなどの要因は、分類作業の複雑さに応じて、より状況に影響を及ぼすと結論付けている。
論文 参考訳（メタデータ） (2025-04-23T14:41:11Z) - How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。
メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
論文 参考訳（メタデータ） (2025-04-10T16:14:55Z) - MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。
開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。
この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
論文 参考訳（メタデータ） (2024-11-22T18:59:54Z) - Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。
現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。
バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2024-10-18T08:14:10Z) - Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。
本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。
鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
論文 参考訳（メタデータ） (2024-10-16T07:49:13Z) - RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。
我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
論文 参考訳（メタデータ） (2024-04-30T13:50:55Z) - Knowledgeable Agents by Offline Reinforcement Learning from Large Language Model Rollouts [10.929547354171723]
本稿では,言語モデルロールアウト(KALM)の知識エージェントを紹介する。
大規模言語モデル(LLM)から、オフラインの強化学習手法によってエージェントが容易に学習できる想像上のロールアウトの形で知識を抽出する。
未確認の目標を持つタスクの実行において46%の成功率を達成し、ベースラインメソッドによって達成された26%の成功率を大幅に上回る。
論文 参考訳（メタデータ） (2024-04-14T13:19:40Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。