論文の概要: MARQ: A Modular, LLM-Agnostic Requirement Quality Assessor Infused with Systems Engineering Knowledge

• arxiv url: http://arxiv.org/abs/2610.36234v1
• Date: Mon, 26 Oct 2026 20:12:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.429792
• Title: MARQ: A Modular, LLM-Agnostic Requirement Quality Assessor Infused with Systems Engineering Knowledge
• Title（参考訳）: MARQ:システム工学の知識を取り入れたモジュール型LCMに依存しない要求品質評価器
• Abstract要約: 本研究は,専門家由来のSE知識を活用すれば,市販能力以上の要求品質評価が向上するかどうかを考察する。 MARQは,LCMを基準固有の知識スタックで補うモジュール型LLM非依存のプロトタイプである。 MarQ は GPT-5.6 Sol の Claude Opus 5, 0.62 と Gemma 3 12B の 0.53 に対して 0.55 と 0.52 と 0.18 の平均 F1 スコアを得る。
• 参考スコア（独自算出の注目度）: 39.22505505045623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Requirements engineering (RE) is foundational to systems engineering (SE), as requirement defects can propagate downstream and adversely affect development outcomes. Although large language models (LLMs) are promising for requirement quality assessment, prior work shows that off-the-shelf models miss a large share of expert-identified defects, perform unevenly across quality criteria, and vary across executions. This study investigates whether infusing expert-derived SE knowledge can improve LLM-based requirement quality evaluation beyond off-the-shelf capability. We present MARQ, a modular, LLM-agnostic prototype that supplements LLMs with a criterion-specific knowledge stack operationalizing INCOSE requirement quality criteria and evaluated against off-the-shelf baselines on an expert-labeled NASA requirement set using Claude Opus 5, GPT-5.6 Sol, and the open-weight Gemma 3 12B, with 100 executions per model. MARQ achieves median F1 scores of 0.80 for Claude Opus 5, 0.62 for GPT-5.6 Sol, and 0.53 for Gemma 3 12B, compared with off-the-shelf baselines of 0.55, 0.52, and 0.18, respectively. However, the nature of these gains is model-dependent. Claude Opus 5 improves defect detection and false-alarm control; GPT-5.6 Sol gains detection and better execution-level consistency at the cost of more false alarms; and Gemma 3 12B reaches the performance of off-the-shelf proprietary models, although it remains highly variable. Criterion-level analysis shows gains concentrated in Correctness and Conformance, trade-offs between misses and false alarms within individual criteria, and model-dependent responses across several criteria. These findings position SE knowledge infusion as a promising model-agnostic pathway for strengthening trustworthy LLM-based RE support while underscoring the need for criterion-specific interventions and human-in-the-loop review.
• Abstract（参考訳）: 要件工学(RE)は、要件欠陥が下流を伝播し、開発成果に悪影響を及ぼす可能性があるため、システム工学(SE)の基礎となる。 大規模言語モデル(LLM)は要求品質評価に有望であるが、事前の作業では、既成モデルが専門家が特定した欠陥の大部分を見逃し、品質基準を不均一に実行し、実行毎に異なることが示されている。 本研究は,専門家によるSE知識の注入により,既成の能力を超えたLCMに基づく要求品質評価が向上するかどうかを考察する。 我々は,INCOSE要求品質基準を運用する基準固有の知識スタックをLCMに補足し,Claude Opus 5, GPT-5.6 SolとオープンウェイトGemma 3 12Bを用いたNASAの要件セットに基づいて,市販のベースラインに対して評価を行うモジュール型LCM非依存プロトタイプMARQを提案する。 MARQ は GPT-5.6 Sol の Claude Opus 5, 0.62 と Gemma 3 12B の 0.53 に対して 0.55 と 0.52 と 0.18 の平均 F1 スコアを得る。 しかし、これらの利得の性質はモデルに依存している。 Claude Opus 5は欠陥検出と偽アラーム制御を改善し、GPT-5.6 Solはより偽アラームのコストで検出と実行レベルの一貫性を向上させる。 基準レベルの分析では、正確さと適合性、個々の基準におけるミスと誤報のトレードオフ、およびいくつかの基準におけるモデル依存応答に集中していることが示されている。 これらの知見は,SE知識の注入を,信頼性の高いLCMベースのREサポートを強化するための有望なモデル非依存経路として位置づけた。

関連論文リスト

• Two Truths and A Lie? Benchmarking Off-the-Shelf LLMs for Requirements Quality Assessment: Performance, False Alarms, and Misses [39.22505505045623]
  大規模言語モデル(LLM)は要求品質の評価を吸収することができる。 本研究では,要求品質評価のための既設LLM性能のベンチマーク解析を行った。 強い非対称な誤差プロファイルを定量化する: 全てのモデルと実行において、最高のパフォーマンスの人類学モデルは、専門家が特定した問題の47%の中央値を検出し、偽フレーガーは11%である。
  論文  参考訳（メタデータ） (2026-09-03T00:06:04Z)
• Rigorous Evaluation of Large Language Models for Malaria Drug Discovery: Trade-offs in Performance, Scale, and Resource Utility [0.0]
  微調整のオープンソース LLM は、全てのベースラインを大きく上回った。 微調整されたオープンソース LLM は、アンチマラリアVS にとって魅力的な、リソース効率のパラダイムである。
  論文  参考訳（メタデータ） (2026-08-18T20:12:22Z)
• DiagnosticIQ: A Benchmark for LLM-Based Industrial Maintenance Action Recommendation from Symbolic Rules [4.124344125532972]
  複雑な工業資産の監視は、センサーの条件に基づいて引き起こされるエンジニアによる象徴的な規則に依存している。 ルールをメンテナンスステップに変換するには、長年の実践を通じて得られた資産固有の知識が必要です。 このルール・ツー・アクション・ステップの意思決定支援としてLLMが有効か検討し,6,690名の専門家による複数選択質問をベンチマークした。
  論文  参考訳（メタデータ） (2026-05-09T02:17:39Z)
• PEFT of SLM for Telecommunications Customer Support: A Comparative Study of LoRA Configurations with Energy Consumption Analysis [0.0]
  大規模言語モデル(LLM)は、自然言語の理解と生成において高い性能を示すが、通信顧客サポートにおけるドメイン固有の制約に対する評価と適応は依然として限られている。 本稿では,Qwen2.5-3Bに適用された低ランク適応(LoRA)を用いたパラメータ効率細調整(PEFT)の系統的研究を行い,ドメイン固有の対話アシスタントを構築する。 Gemini Geminiを動力とする生成パイプラインを通じて,1,560の異なる問題シナリオに対して約30,000のトレーニング例を生成する。
  論文  参考訳（メタデータ） (2026-04-17T09:56:18Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models [51.55869466207234]
  静的ベンチマークにおけるLLM(Large Language Models)の既存の評価は、データの汚染やリーダーボードのオーバーフィッティングに弱い。 LLMの動的評価のためのフレームワークであるLLMEval-3を紹介する。 LLEval-3は、220kの卒業生レベルの質問からなるプロプライエタリなバンク上に構築されており、評価実行毎に未確認のテストセットを動的にサンプリングする。
  論文  参考訳（メタデータ） (2025-08-07T14:46:30Z)
• ReasonFlux-PRM: Trajectory-Aware PRMs for Long Chain-of-Thought Reasoning in LLMs [75.72672339168092]
  本稿では,新しいトラジェクトリ対応PRMであるReasonFlux-PRMを紹介し,トラジェクトリ応答型推論トレースの評価を行う。 ReasonFlux-PRMはステップレベルとトラジェクトリレベルの両方の監視機能を備えており、構造化された連鎖データと整合した微粒な報酬割り当てを可能にする。 得られたReasonFlux-PRM-7Bは、教師付き微調整で平均12.1%、強化学習で4.5%、テスト時間スケーリングで6.3%向上した。
  論文  参考訳（メタデータ） (2025-06-23T17:59:02Z)
• Reliable Decision Support with LLMs: A Framework for Evaluating Consistency in Binary Text Classification Applications [0.7124971549479361]
  本研究では,大言語モデル(LLM)のバイナリテキスト分類における一貫性を評価するフレームワークを提案する。 我々は,サンプルサイズ要件を定め,不適切な応答の指標を開発し,レータ内およびレータ間信頼性を評価する。
  論文  参考訳（メタデータ） (2025-05-20T21:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。