論文の概要: HiddenLens: A Multi-Layer LLM Framework for Detecting and Resolving Hidden Assumptions in Software Requirements
- arxiv url: http://arxiv.org/abs/2610.29996v1
- Date: Wed, 21 Oct 2026 16:35:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.410557
- Title: HiddenLens: A Multi-Layer LLM Framework for Detecting and Resolving Hidden Assumptions in Software Requirements
- Title(参考訳): HiddenLens: ソフトウェア要件における隠れた仮定の検出と解決のための多層LLMフレームワーク
- Abstract要約: 本研究では,隠れた仮定を検知,分類,問合せ,解決するための新しい6層BERT-LLMパイプラインを提案する。
また,HiddenLens Corpus (HLC) も導入し,847の隠れ仮定を付加した312の要件を定めている。
HLCは、このタスクのための注釈付きデータの欠如に対処し、私たちの知る限り、このタスクのために開発された最初のデータセットです。
- 参考スコア(独自算出の注目度): 2.2940141855172036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural-language software requirements often omit assumptions about performance, operating conditions, user behaviour, and domain constraints, affecting architecture, testing, and deployment. If undiscovered until implementation, resolving them is far more costly than addressing them early. Although ambiguity and vagueness are widely studied, less attention has been given to assumptions embedded in requirements that appear clear and reasonable. We propose HiddenLens, a novel six-layer BERT-LLM pipeline and, to our knowledge, the first framework engineered to detect, classify, question, and resolve hidden assumptions rather than merely flag ambiguity. Layer 1 uses BERT attention entropy to localise unresolved spans; Layer 2 uses CoT-prompted LLM reasoning to articulate each assumption and its failure risk; Layer 3 uses fine-tuned BERT to classify assumptions into six non-functional requirement categories: performance, security, scalability, usability, reliability, and domain; Layer 4 generates ranked clarification options using FS LLM prompting; Layer 5 enables human validation through confirmation, editing, or rephrasing; and Layer 6 rewrites the requirement using the confirmed resolution, producing an explicit, testable, and traceable requirement. We also introduce the HiddenLens Corpus (HLC), comprising 312 requirements annotated with 847 hidden assumptions across six NFR categories. Inspired by PROMISE and PURE, HLC addresses the lack of annotated data for this task and is, to our knowledge, the first dataset developed specifically for it. HiddenLens outperforms keyword-based and QuARS-Adapted baselines by 71% and 61%, respectively, achieving an end-to-end F1-score of 0.79; its BERT-based NFR classifier achieves an F1-score of 0.847. These results indicate that HiddenLens can help analysts resolve hidden assumptions before they propagate through software development.
- Abstract(参考訳): 自然言語のソフトウェア要件は、しばしばパフォーマンス、運用条件、ユーザの振る舞い、ドメインの制約に関する仮定を省略し、アーキテクチャ、テスト、デプロイメントに影響を与える。
実装まで発見されていない場合、早期に解決するよりも、解決する方がはるかにコストがかかります。
あいまいさとあいまいさは広く研究されているが、明確で合理的な要件に埋め込まれた仮定にはあまり注意が向けられていない。
我々は,新しい6層BERT-LLMパイプラインであるHiddenLensを提案する。
レイヤ1は、未解決のスパンをローカライズするためにBERTアテンションエントロピーを使用し、レイヤ2は、それぞれの仮定と失敗リスクを明確にするためのCoTプロンプトLDM推論を使用し、レイヤ3は、前提を6つの非機能要件カテゴリ(パフォーマンス、セキュリティ、スケーラビリティ、ユーザビリティ、信頼性、ドメイン)に分類するために微調整BERTを使用し、レイヤ4は、FS LLMプロンプトを使用してランク付けされた明確化オプションを生成する。
また,HiddenLens Corpus (HLC) も導入し,6つのNFRカテゴリに847の隠れ仮定をアノテートした312の要件について検討した。
PROMISEとPUREにインスパイアされたHLCは、このタスクのための注釈付きデータの欠如に対処し、私たちの知る限り、このタスクのために開発された最初のデータセットです。
HiddenLensはキーワードベースとQuARS適応ベースラインをそれぞれ71%と61%で上回り、エンドツーエンドのF1スコアは0.79、BERTベースのNFR分類器は0.847である。
これらの結果は、HiddenLensがソフトウェア開発を通じて普及する前に隠れた仮定を解決するのに役立つことを示唆している。
関連論文リスト
- Structured but Silent: Probing Capability Requirements in LLM Hidden States [12.538154376241778]
細粒度構造は全モデルで高い精度で線形デオード可能であることを示す。
これらの同じモデルは、自然言語で同じクエリを明示的に分類するように要求された場合、かなり信頼性が低い。
論文 参考訳(メタデータ) (2026-10-06T09:12:53Z) - An Empirical Study of LLM-Generated Specifications for VeriFast [7.58397933941565]
静的検証ツールは、産業規模のソフトウェアを保証できますが、仕様を書くにはかなりの人的労力が必要です。
最近の研究は、検証対象の仕様を含むコード、テスト、証明を生成するために、大きな言語モデル(LLM)を適用している。
本稿では,SL検証器 VeriFast で 303 C 関数を検証するための仕様を生成するために LLM がいかにうまく機能するかを徹底的に評価する。
論文 参考訳(メタデータ) (2026-06-25T00:50:43Z) - What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある
SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。
SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
論文 参考訳(メタデータ) (2026-06-01T03:18:01Z) - Assessing the Impact of Requirement Ambiguity on LLM-based Function-Level Code Generation [14.755517753769837]
Orchidは、曖昧な要求で特別に設計された最初のコード生成ベンチマークです。
これは、語彙、構文、意味、曖昧さの4つの異なる種類の曖昧さをカバーする1,304の関数レベルタスクからなる。
この結果から,高度モデルにおいて最も顕著な負の効果が観察され,不明瞭さは全ての評価LCMの性能を常に低下させることが示された。
論文 参考訳(メタデータ) (2026-04-23T10:07:33Z) - HCRE: LLM-based Hierarchical Classification for Cross-Document Relation Extraction with a Prediction-then-Verification Strategy [54.91468501159335]
文書間関係抽出 (RE) は, 異なる文書に存在する頭部尾部エンティティ間の関係を識別することを目的としている。
本稿では,各レベルでの多視点検証により信頼性を向上させる推論戦略を提案する。
論文 参考訳(メタデータ) (2026-04-09T07:55:27Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳(メタデータ) (2025-12-31T13:55:54Z) - Towards Small Language Models for Security Query Generation in SOC Workflows [2.773295737427326]
セキュリティ運用センターのアナリストは、Kusto Query Language(KQL)を使用して、大規模なテレメトリストリームを定期的にクエリする。
適切なKQLを書くには特別な専門知識が必要です。
本稿では,Small Language Models (SLM) が企業セキュリティのために,正確で費用対効果の高い自然言語-KQL翻訳を可能にするかどうかを検討する。
論文 参考訳(メタデータ) (2025-12-07T05:18:27Z) - Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize
Encoded Knowledge [85.17343729885003]
我々は,Hint-before-Solving Prompting (HSP)を導入し,その問題を解くためのヒントを生成する。
HSPは推論タスクの精度を効果的に向上させることができる。
我々はHSPと細調整されたLlemma-7Bに基づいてHSPMATHデータセットを構築し、64.3精度を達成した。
論文 参考訳(メタデータ) (2024-02-22T05:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。