論文の概要: A Retrieval-Augmented Framework for Detecting and Resolving Pragmatic Ambiguities in Natural Language Requirements

• arxiv url: http://arxiv.org/abs/2607.04436v1
• Date: Sun, 05 Jul 2026 17:58:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.931288
• Title: A Retrieval-Augmented Framework for Detecting and Resolving Pragmatic Ambiguities in Natural Language Requirements
• Title（参考訳）: 自然言語要求における実用的あいまいさの検出と解決のための検索支援フレームワーク
• Abstract要約: 自然言語要求(NLR)は、ソフトウェア開発における様々な利害関係者間のコミュニケーションギャップを埋めるのに不可欠である。 いくつかの要件は、異なるコンテキストの知識と利害関係者のドメイン固有の期待のために誤解される可能性がある。 本稿では,NLRにおける現実的曖昧性の検出と解決のためのアプローチを提案する。
• 参考スコア（独自算出の注目度）: 2.036811219647753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language requirements (NLRs) are essential for bridging communication gaps among diverse stakeholders in software development. However, the inherent ambiguity in NLRs can pose significant challenges. In particular, some requirements may be misinterpreted due to varying contextual knowledge and domain-specific expectations of the stakeholders, a phenomenon known as pragmatic ambiguity. This paper presents an approach for detecting and resolving pragmatic ambiguities in NLRs. The approach leverages retrieval-augmented generation techniques with novice, intermediate, and expert domain knowledge bases to simulate stakeholders with varying domain expertise and detect discrepancies in requirement interpretation. Candidate disambiguated requirements are generated using the expert domain knowledge base, with final validation by a requirements analyst required to ensure alignment with the intended functionality. We evaluate the approach on two requirements specification documents from the PUblic REquirements dataset, using four large language models: GPT-4o-mini, Mistral-7B, Llama-3.1-8B, and Qwen2.5-7B. Detection performance is assessed using macro-averaged accuracy, precision, recall, F1, and F2 scores. The resolution quality of the candidate disambiguated requirements is measured through human evaluation of relevance, clarity, and consistency. In this initial evaluation, results show that the proposed approach can detect pragmatic ambiguities and produce candidate disambiguated requirements that are relevant, clear, and consistent with the intended system functionality. Among the evaluated models, GPT-4o-mini achieved the highest macro-averaged recall (0.75) and F2 score (0.75) for pragmatic ambiguity detection. In the resolution task, GPT-4o-mini received the highest relevance scores from human evaluators, while Mistral-7B achieved the highest scores for clarity and consistency.
• Abstract（参考訳）: 自然言語要求(NLR)は、ソフトウェア開発における様々な利害関係者間のコミュニケーションギャップを埋めるのに不可欠である。 しかし、NLRの本質的な曖昧さは重大な課題を引き起こす可能性がある。 特に、いくつかの要件は、様々な文脈的知識と利害関係者のドメイン固有の期待のために誤解されることがある。 本稿では,NLRにおける現実的曖昧性の検出と解決のためのアプローチを提案する。 このアプローチは、初級、中級、専門的なドメイン知識ベースの検索強化生成技術を活用して、様々なドメイン専門知識を持つステークホルダーをシミュレートし、要求解釈における不一致を検出する。 候補の曖昧な要件は、専門家のドメイン知識ベースを使用して生成され、意図された機能との整合性を確保するために必要な要件アナリストによる最終的な検証が行われます。 GPT-4o-mini, Mistral-7B, Llama-3.1-8B, Qwen2.5-7Bの4つの大言語モデルを用いて, PUblic Requirementsデータセットからの2つの要求仕様文書に対するアプローチを評価する。 マクロ平均精度、精度、リコール、F1、F2スコアを用いて検出性能を評価する。 対象の曖昧な要件の分解能は、人間による妥当性、明確性、一貫性の評価によって測定される。 この初期評価では,提案手法は実用的曖昧さを検知し,意図したシステム機能に関連があり,明確で,整合性のある不明瞭な要件を導出できることを示す。 評価されたモデルの中で、GPT-4o-miniは、現実的な曖昧さ検出のためのマクロ平均リコール(0.75)とF2スコア(0.75)を達成した。 その結果, GPT-4o-mini はヒト評価者から高い相関点を得たが, Mistral-7B は明瞭度と一貫性の最高点を得た。

関連論文リスト

• CLAIM: Leading Open-domain Active Clarification of Large Language Models with Uncertainty Measurement [50.91045324738942]
  CLAIMは、オープンドメイン環境でのアクティブな明確化学習のための不確実性駆動フレームワークである。 本研究では,不確実性推定とセマンティッククラスタリングと推論に基づく判断を統合したエントロピー駆動型合成データ生成パイプラインを提案する。 実験の結果,手動でラベル付けしたデータに頼ることなく,CLAIMが安定かつ一般化可能な明確化戦略を学習できることが確認された。
  論文  参考訳（メタデータ） (2026-08-12T04:27:45Z)
• Assessing the Impact of Requirement Ambiguity on LLM-based Function-Level Code Generation [14.755517753769837]
  Orchidは、曖昧な要求で特別に設計された最初のコード生成ベンチマークです。 これは、語彙、構文、意味、曖昧さの4つの異なる種類の曖昧さをカバーする1,304の関数レベルタスクからなる。 この結果から,高度モデルにおいて最も顕著な負の効果が観察され,不明瞭さは全ての評価LCMの性能を常に低下させることが示された。
  論文  参考訳（メタデータ） (2026-04-23T10:07:33Z)
• Conjecture and Inquiry: Quantifying Software Performance Requirements via Interactive Retrieval-Augmented Preference Elicitation [5.068068137363358]
  IRAPは、インタラクティブな検索強化された嗜好推論によって、パフォーマンス要求を数学的関数に定量化するアプローチである。 4つの実世界のデータセットに対する10の最先端の手法に対する実験結果から、IRAPが最大40倍改善された場合において、5ラウンドのインタラクションで優位であることが示されている。
  論文  参考訳（メタデータ） (2026-04-23T07:50:49Z)
• Large Language Models for Automating Clinical Data Standardization: HL7 FHIR Use Case [0.2516393111664279]
  本稿では、構造化された臨床データセットをHL7 FHIRフォーマットに変換するための半自動アプローチを提案する。 最初のベンチマークでは、リソースの識別は完全なF1スコアに達し、GPT-4oはLlama 3.2を上回った。 誤り解析により,非存在属性の幻覚や粒度のミスマッチが検出され,より詳細なプロンプトが軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-07-03T17:32:57Z)
• Hoi2Threat: An Interpretable Threat Detection Method for Human Violence Scenarios Guided by Human-Object Interaction [5.188958047067082]
  本稿では,Hoi2Threatを用いた人対物相互作用対(HOIペア)に基づく脅威検出手法を提案する。 本手法は,詳細なマルチモーダルTD-Hoiデータセットに基づいて,モデルのセマンティックモデリング能力を向上する。 実験の結果、いくつかの脅威検出タスクにおいて、Hoi2Threatが大幅に向上することが示されている。
  論文  参考訳（メタデータ） (2025-03-13T16:09:51Z)
• SEOE: A Scalable and Reliable Semantic Evaluation Framework for Open Domain Event Detection [70.23196257213829]
  オープンドメインイベント検出のためのスケーラブルで信頼性の高いセマンティックレベルの評価フレームワークを提案する。 提案フレームワークはまず,現在7つの主要ドメインをカバーする564のイベントタイプを含む,スケーラブルな評価ベンチマークを構築した。 次に,大言語モデル(LLM)を自動評価エージェントとして活用し,意味的類似ラベルのきめ細かい定義を取り入れた意味的F1スコアを計算する。
  論文  参考訳（メタデータ） (2025-03-05T09:37:05Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
  我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。 SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
  論文  参考訳（メタデータ） (2023-10-27T06:48:48Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Exploring Multi-Modal Representations for Ambiguity Detection & Coreference Resolution in the SIMMC 2.0 Challenge [60.616313552585645]
  会話型AIにおける効果的なあいまいさ検出と参照解決のためのモデルを提案する。 具体的には,TOD-BERTとLXMERTをベースとしたモデルを用いて,多数のベースラインと比較し,アブレーション実験を行う。 以上の結果から,(1)言語モデルでは曖昧さを検出するためにデータの相関を活用でき,(2)言語モデルではビジョンコンポーネントの必要性を回避できることがわかった。
  論文  参考訳（メタデータ） (2022-02-25T12:10:02Z)
• Automatically detecting the conflicts between software requirements based on finer semantic analysis [8.035669538927623]
  与えられた自然言語機能要件間の競合を自動的に検出するFiner Semantic Analysis-based Requirements Conflict Detector (FSARC) を提案する。 機能要件の調和したセマンティックメタモデルを8タプルで構築する。 そして、テキストパターンとセマンティック依存関係に基づいてルールを検出する限り、7種類の競合を定義します。
  論文  参考訳（メタデータ） (2021-03-03T08:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。