論文の概要: Human-AI Collaboration in Requirements Engineering: Evidence of the Negative Effect of LLMs on Requirements Inspection

• arxiv url: http://arxiv.org/abs/2608.21298v1
• Date: Fri, 21 Aug 2026 16:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.643069
• Title: Human-AI Collaboration in Requirements Engineering: Evidence of the Negative Effect of LLMs on Requirements Inspection
• Title（参考訳）: 要求工学における人間とAIの連携--要求検査におけるLLMの負の効果の証拠
• Abstract要約: 大規模言語モデル(LLM)は、要求工学タスクをサポートする可能性への関心を刺激している。 我々は,LLMサポートが人為的パフォーマンスRIに与える影響について検討することを目的とする。
• 参考スコア（独自算出の注目度）: 41.425568895513806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background. Requirements inspection (RI) is a well-established practice for detecting potential defects in requirements artifacts early in the software lifecycle. Recent advances in large language models (LLMs) have stimulated interest in their potential to support requirements engineering (RE) tasks. However, empirical evidence on the effects of LLMs when used as collaborative assistants in human-performed RI remains scarce. Aims. We aim to investigate the impact of LLM support on human-performed RI, considering inspection effectiveness in terms of smell identification and severity classification (i.e., nocuous vs innocuous), as well as inspection duration. Method. We conducted a controlled crossover design experiment with 34 participants, who inspected textual specifications with and without LLM support, identifying and classifying requirements smells while recording inspection time. We analyzed the data using one Bayesian regression model per outcome variable, accounting for validity threats induced by the crossover design as well as covariates and mediators. Results. Results show that LLM support negatively affects smell detection accuracy but has no significant effect on smell classification or task duration. A learning effect is present across experimental periods, but reduced when RI is first performed with LLM support. Conclusions. Our findings provide empirical evidence that LLM support does not necessarily improve performance and may, instead, hinder it for novice inspectors. Moreover, the results suggest that learning RI with LLM-support from the beginning may slow down the skill acquisition process, implying threats for LLM-supported learning.
• Abstract（参考訳）: 背景。 要件検査(RI)は、ソフトウェアライフサイクルの初期に要求アーチファクトの潜在的な欠陥を検出するための、十分に確立されたプラクティスである。 大規模言語モデル(LLM)の最近の進歩は、要求工学(RE)タスクをサポートする可能性への関心を刺激している。 しかし, 人為的なRIの協調補助剤として使用するLLMの効果に関する実証的証拠は乏しい。 エイムズ。 本研究の目的は, 臭気識別と重度分類の点検の有効性, 点検期間を考慮し, LLM 支援が人為的な RI に与える影響を検討することである。 方法。 LLMサポートの有無を問わないテキスト仕様を検査し,検査時間を記録しながら,要求臭の識別と分類を行った34名の被験者を対象にクロスオーバー設計実験を行った。 結果変数ごとのベイズ回帰モデルを用いて, クロスオーバー設計によって引き起こされる妥当性の脅威と, 共変量, 媒介量を考慮したデータ解析を行った。 結果。 その結果,LSMは嗅覚検出精度に悪影響を及ぼすが,嗅覚分類や作業時間に有意な影響を与えないことがわかった。 学習効果は実験期間にわたって存在するが、LIMサポートでRIが最初に実行されると低下する。 結論。 以上の結果から,LSM サポートが必ずしも性能を向上するとは限らないという実証的証拠が得られ,初心者検査者にとって障害となる可能性が示唆された。 さらに,LLM支援によるRI学習は,LLM支援学習の脅威を示唆する技術習得過程を最初から遅らせる可能性が示唆された。

関連論文リスト

• LLM Detection as an Intervention: Downstream Impact under Strategic User Behavior [53.63441578662801]
  インタクタは、検出された属性自身だけでなく、LLM使用率や出力品質などの下流メトリクスを操縦する介入として動作する。 我々は,LLMの使用量を戦略的に選択し,コンテンツ後処理によって検出された属性を減らし,その特性を定量的に把握するスタイリングモデルを開発した。 検出された属性を低減しても出力品質は向上するが,LDM検出器を導入することで,ユーザは低品質の出力が得られる。
  論文  参考訳（メタデータ） (2026-07-21T17:11:02Z)
• Statistical Foundations of LLM-based A/B Testing: A Surrogacy Framework for Human Causal Inference [0.509780930114934]
  大規模言語モデル(LLM)で推定される治療効果が,ヒトの関心事に対する効果を回復できるかどうかを検討した。 終端理論をLCMに適応させる統計的枠組みを開発する。 LLM応答に対するA/Bテストは仮定によってのみ正しいが、人間に対するA/Bテストは設計によって正しい。
  論文  参考訳（メタデータ） (2026-06-15T18:06:20Z)
• Beyond Accuracy: LLM Variability in Evidence Screening for Software Engineering SLRs [0.29737220923371155]
  大規模言語モデル(LLM)は、体系的な文献レビューにおいて、スクリーニングの研究に使用される。 急速な取り込みにもかかわらず、そのようなモデルが研究スクリーニングフェーズでどのように振る舞うかは限定的な証拠である。 本研究では,LLMの性能に及ぼす入力メタデータ(抽出,タイトル,キーワード)の影響について検討した。
  論文  参考訳（メタデータ） (2026-04-29T08:55:16Z)
• IV Co-Scientist: Multi-Agent LLM Framework for Causal Instrumental Variable Discovery [61.15184885636171]
  内因性変数と結果との相同性の存在下では、インストゥルメンタル変数(IVs)を用いて内因性変数の因果効果を分離する。 大規模言語モデル(LLM)がこの課題に有効かどうかを検討する。 本稿では,多エージェントシステムであるIV Co-Scientistを紹介する。
  論文  参考訳（メタデータ） (2026-02-08T12:28:29Z)
• CARE: Turning LLMs Into Causal Reasoning Expert [14.390784501489733]
  大規模言語モデル(LLM)には因果関係を識別する能力がないことを示す。 LLMの因果推論能力を高めるフレームワークであるCAREを提案する。
  論文  参考訳（メタデータ） (2025-11-20T03:34:16Z)
• On the Impact of Requirements Smells in Prompts: The Case of Automated Traceability [45.24937784556523]
  我々は,大言語モデル(LLM)のプロンプトに使用される曖昧さや不整合といった潜在的な問題に対する,要求の匂い指標の役割について検討する。 要求の臭いは、あるコードに要求が実装されたかどうか(トレースリンクが存在する)を予測する際には小さいが重大な効果があったが、関連するコード行で要求をトレースする場合には大きな影響は見られなかった。 これらの結果から,要求臭は特定のSEタスクのLLM性能に影響を及ぼすが,全てのタスクに均一に影響を与えない可能性が示唆された。
  論文  参考訳（メタデータ） (2025-01-08T19:54:31Z)
• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
  大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。 本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
  論文  参考訳（メタデータ） (2024-10-07T02:30:18Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• How Good Are LLMs at Out-of-Distribution Detection? [13.35571704613836]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)モデルの信頼性を高める上で重要な役割を果たす。 本稿では,大規模言語モデル(LLM)の領域におけるOOD検出の先駆的実証研究について述べる。
  論文  参考訳（メタデータ） (2023-08-20T13:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。