論文の概要: Supporting Stakeholder Requirements Expression with LLM Revisions: An Empirical Evaluation
- arxiv url: http://arxiv.org/abs/2601.16699v1
- Date: Fri, 23 Jan 2026 12:42:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-26 14:27:27.679845
- Title: Supporting Stakeholder Requirements Expression with LLM Revisions: An Empirical Evaluation
- Title（参考訳）: LLM改正による株主要求表現の支援:実証的評価
- Authors: Michael Mircea, Emre Gevrek, Elisa Schmid, Kurt Schneider,
- Abstract要約: 大規模言語モデル(LLM)は、コンテキストからユーザの意図を推測することができる。
本稿では, LLM を要件の活用と検証に用い, 利害関係者中心のアプローチを提案し, 評価する。
- 参考スコア（独自算出の注目度）: 1.5102168012018966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stakeholders often struggle to accurately express their requirements due to articulation barriers arising from limited domain knowledge or from cognitive constraints. This can cause misalignment between expressed and intended requirements, complicating elicitation and validation. Traditional elicitation techniques, such as interviews and follow-up sessions, are time-consuming and risk distorting stakeholders' original intent across iterations. Large Language Models (LLMs) can infer user intentions from context, suggesting potential for assisting stakeholders in expressing their needs. This raises the questions of (i) how effectively LLMs can support requirement expression and (ii) whether such support benefits stakeholders with limited domain expertise. We conducted a study with 26 participants who produced 130 requirement statements. Each participant first expressed requirements unaided, then evaluated LLM-generated revisions tailored to their context. Participants rated LLM revisions significantly higher than their original statements across all dimensions-alignment with intent, readability, reasoning, and unambiguity. Qualitative feedback further showed that LLM revisions often surfaced tacit details stakeholders considered important and helped them better understand their own requirements. We present and evaluate a stakeholder-centered approach that leverages LLMs as articulation aids in requirements elicitation and validation. Our results show that LLM-assisted reformulation improves perceived completeness, clarity, and alignment of requirements. By keeping stakeholders in the validation loop, this approach promotes responsible and trustworthy use of AI in Requirements Engineering.
- Abstract（参考訳）: 利害関係者は、限られたドメイン知識や認知的制約から生じる弁明障壁のために、要求を正確に表現するのに苦労することが多い。
これは、表現された要求と意図された要求との不一致を引き起こし、エレケーションとバリデーションを複雑にする。
インタビューやフォローアップセッションといった従来の勧誘手法は、イテレーションを通じてステークホルダーの元々の意図を歪めてしまうリスクと時間を要する。
大規模言語モデル(LLM)は、コンテキストからユーザの意図を推測し、ステークホルダーが彼らのニーズを表現できる可能性を示唆する。
これによって疑問が浮かび上がる
i) LLM が要求表現をいかに効果的にサポートできるか
(二)ドメインの専門知識が限られている利害関係者の利益になるかどうか。
130の要件文を作成した26名の被験者を対象に調査を行った。
各参加者はまず要件を無視し、それぞれのコンテキストに合わせてLCMの生成したリビジョンを評価した。
参加者はLLMのリビジョンを、意図、可読性、推論、曖昧さなど、すべての次元にわたる元のステートメントよりも有意に高く評価した。
質的なフィードバックは、LCM修正がステークホルダーが重要と見なした暗黙の細部をしばしば表面化し、彼ら自身の要求をよりよく理解するのに役立つことを示した。
本稿では, LLM を要件の活用と検証に用い, 利害関係者中心のアプローチを提案し, 評価する。
以上の結果から,LCMによる改善により,要求の完全性,明確性,整合性が向上することが示唆された。
ステークホルダーをバリデーションループに保持することで、このアプローチは要求工学におけるAIの責任と信頼に値する使用を促進する。
関連論文リスト
- Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。
FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。
本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文 参考訳（メタデータ） (2026-01-06T02:51:56Z) - From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization [62.07990937720985]
DRM(Dimension-level Reward Model)は、大規模言語モデルのための新しい監視フレームワークである。
DRMは3つの基本的、相補的、解釈可能な次元に沿って推論プロセスの品質を評価する。
実験の結果、DRMは効果的な監視信号を提供し、LCMの最適化を誘導し、推論能力を向上することが示された。
論文 参考訳（メタデータ） (2025-10-13T14:29:15Z) - Teaching Language Models To Gather Information Proactively [53.85419549904644]
大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。
本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。
キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。
このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
論文 参考訳（メタデータ） (2025-07-28T23:50:09Z) - LLM-based HSE Compliance Assessment: Benchmark, Performance, and Advancements [26.88382777632026]
HSE-Benchは、大規模言語モデルのHSEコンプライアンス評価能力を評価するために設計された最初のベンチマークデータセットである。
規則、裁判、安全試験、フィールドワークビデオから引き出された1000以上の手作業による質問で構成されている。
我々は,基礎モデル,推論モデル,マルチモーダル視覚モデルなど,異なるプロンプト戦略と10以上のLLMの評価を行う。
論文 参考訳（メタデータ） (2025-05-29T01:02:53Z) - Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。
原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。
本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
論文 参考訳（メタデータ） (2025-01-02T16:38:21Z) - UAlign: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models [41.67393607081513]
大きな言語モデル(LLM)は、しばしば、彼らが持っている事実の知識を正確に表現するのに苦労する。
知識境界を表現するために不確実性推定を利用するUAlignフレームワークを提案する。
提案したUAlign は LLM の能力を大幅に向上させ,既知の疑問に自信を持って答えることができることを示す。
論文 参考訳（メタデータ） (2024-12-16T14:14:27Z) - A Survey on Uncertainty Quantification of Large Language Models: Taxonomy, Open Research Challenges, and Future Directions [9.045698110081686]
大規模言語モデル (LLMs) は、信頼性を高く表現した、妥当で、事実的に正しくない応答を生成する。
従来の研究では、LLMが生み出す幻覚やその他の非現実的な反応は、関連するプロンプトに対するLLMの不確実性を調べることによって検出できることが示されている。
本調査は, LLMの健全な特徴と強度, 弱点を識別し, 既存の不確実性定量化手法を幅広く検討することを目的としている。
論文 参考訳（メタデータ） (2024-12-07T06:56:01Z) - Truth or Mirage? Towards End-to-End Factuality Evaluation with LLM-Oasis [78.07225438556203]
LLM-Oasisは、エンド・ツー・エンドの事実性評価をトレーニングするための最大のリソースである。
ウィキペディアからクレームを抽出し、これらのクレームのサブセットを偽造し、事実と非事実のテキストのペアを生成することで構築される。
次に、データセットの品質を検証し、事実性評価システムのための金の標準テストセットを作成するために、人間のアノテータに依存します。
論文 参考訳（メタデータ） (2024-11-29T12:21:15Z) - Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。
本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。
本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
論文 参考訳（メタデータ） (2024-07-20T11:19:58Z) - The Impossibility of Fair LLMs [17.812295963158714]
さまざまな技術的公正フレームワークを分析し、公正な言語モデルの開発を難易度の高いものにするために、それぞれに固有の課題を見つけます。
それぞれのフレームワークが汎用的なAIコンテキストに拡張されないか、実際には実現不可能であることを示す。
これらの固有の課題は、LLMを含む汎用AIにおいて、限られた参加入力や限られた測定方法といった経験的な課題が克服されたとしても、持続する。
論文 参考訳（メタデータ） (2024-05-28T04:36:15Z) - Fairness of ChatGPT [30.969927447499405]
本研究は,ChatGPTを研究事例として,LLMの有効性と妥当性を体系的に評価することを目的とする。
われわれは、ChatGPTの教育、犯罪学、金融、医療などハイテイク分野における業績を評価することに重点を置いている。
この研究は、LLMの公平性のパフォーマンスをより深く理解し、バイアス軽減を促進し、責任あるAIシステムの開発を促進する。
論文 参考訳（メタデータ） (2023-05-22T17:51:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。