論文の概要: From Online User Feedback to Requirements: Evaluating Large Language Models for Classification and Specification Tasks

• arxiv url: http://arxiv.org/abs/2510.23055v1
• Date: Mon, 27 Oct 2025 06:33:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.477801
• Title: From Online User Feedback to Requirements: Evaluating Large Language Models for Classification and Specification Tasks
• Title（参考訳）: オンラインユーザフィードバックから要件へ:分類と仕様タスクのための大規模言語モデルの評価
• Authors: Manjeshwar Aniruddh Mallya, Alessio Ferrari, Mohammad Amin Zadenoori, Jacek Dąbrowski,
• Abstract要約: 大規模言語モデル(LLM)は、オンラインユーザフィードバックの分析を自動化する強力な可能性を示している。 既存の研究は限定的な実証的な証拠を提供し、徹底的な評価を欠いており、複製パッケージはめったに提供していない。 我々は,3つの要求工学(RE)タスクにおいて,5つの軽量オープンソースLCMを評価した。
• 参考スコア（独自算出の注目度）: 0.777471208829183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: [Context and Motivation] Online user feedback provides valuable information to support requirements engineering (RE). However, analyzing online user feedback is challenging due to its large volume and noise. Large language models (LLMs) show strong potential to automate this process and outperform previous techniques. They can also enable new tasks, such as generating requirements specifications. [Question-Problem] Despite their potential, the use of LLMs to analyze user feedback for RE remains underexplored. Existing studies offer limited empirical evidence, lack thorough evaluation, and rarely provide replication packages, undermining validity and reproducibility. [Principal Idea-Results] We evaluate five lightweight open-source LLMs on three RE tasks: user request classification, NFR classification, and requirements specification generation. Classification performance was measured on two feedback datasets, and specification quality via human evaluation. LLMs achieved moderate-to-high classification accuracy (F1 ~ 0.47-0.68) and moderately high specification quality (mean ~ 3/5). [Contributions] We newly explore lightweight LLMs for feedback-driven requirements development. Our contributions are: (i) an empirical evaluation of lightweight LLMs on three RE tasks, (ii) a replication package, and (iii) insights into their capabilities and limitations for RE.
• Abstract（参考訳）: [コンテキストとモチベーション] オンラインユーザフィードバックは、要求工学(RE)をサポートする貴重な情報を提供します。 しかし, オンラインユーザからのフィードバックは, 膨大な量とノイズのため, 分析が難しい。 大規模言語モデル(LLM)は、このプロセスを自動化し、以前の手法より優れている可能性を示している。 また、要求仕様の生成など、新しいタスクも有効にできる。 [Question-Problem] その可能性にもかかわらず、REのユーザフィードバック分析にLLMを使うことは、まだ未検討である。 現存する研究は、限られた実証的な証拠を提供し、徹底的な評価を欠き、複製パッケージを提供し、妥当性と再現性を損なうことは滅多にない。 目的〕ユーザ要求分類,NFR分類,要求仕様生成という3つのREタスクにおいて,軽量なオープンソースLLMを5つ評価する。 2つのフィードバックデータセットで分類性能を測定し,人間による評価によって仕様品質を測定した。 LLMは中程度の分類精度(F1 ~ 0.47-0.68)と中程度の仕様品質(平均3/5)を達成した。 [コントリビューション]フィードバック駆動型要件開発のための軽量LCMを新たに検討する。 私たちの貢献は次のとおりです。 (i)3つのREタスクにおける軽量LCMの実証評価 (ii)複製パッケージ、及び 三 REの能力及び限界についての洞察。

関連論文リスト

• Leveraging LLMs for reward function design in reinforcement learning control tasks [0.0]
  本稿では,LEARN-Opt (LLM-based Evaluator and Analyzer for Reward functioN Optimization)を紹介する。 このフレームワークは、システムやタスク目標のテキスト記述から報酬関数候補を生成し、実行し、評価する。 実験の結果,LEARN-Optは最先端手法に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-11-24T17:55:46Z)
• ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge [94.40918390309186]
  大規模言語モデル(LLM)の進捗を評価することは、応答を検証するという課題によって制約されることが多い。 7000以上の応答基準ペアの集合であるProfBenchを紹介する。 以上の結果から, ProfBench は最先端の LLM においても大きな課題となることが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-21T17:59:44Z)
• FinLFQA: Evaluating Attributed Text Generation of LLMs in Financial Long-Form Question Answering [57.43420753842626]
  FinLFQAは、複雑な財務問題に対する長文の回答を生成するための大規模言語モデルの能力を評価するために設計されたベンチマークである。 回答品質と属性品質の両方をカバーする自動評価フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-10-07T20:06:15Z)
• RJE: A Retrieval-Judgment-Exploration Framework for Efficient Knowledge Graph Question Answering with LLMs [18.947344953344995]
  Retrieval-Judgment-Exploration (RJE)は、洗練された推論経路を検索し、その十分性を評価し、追加の証拠を条件付きで探索するフレームワークである。 RJE はエージェントベースの手法と比較して LLM 呼び出しとトークンの使用量を著しく削減し、大幅な効率改善をもたらす。
  論文  参考訳（メタデータ） (2025-09-25T03:56:18Z)
• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• Meeseeks: A Feedback-Driven, Iterative Self-Correction Benchmark evaluating LLMs' Instruction Following Capability [21.96694731466089]
  フィードバック機構を組み込んだ完全に自動化された命令追従ベンチマークであるMeeseeksを紹介した。 Meeseeksは、モデル応答における誤ったコンポーネントを特定し、対応するフィードバックを正確に提供することで、モデルを自己補正に向けて反復的に導く。 我々は、マクロレベルとインスタンスレベルの両方から包括的な分析を行い、現在の最先端モデルでよく見られる多くの共通問題を明らかにした。
  論文  参考訳（メタデータ） (2025-04-30T13:28:19Z)
• PanguIR Technical Report for NTCIR-18 AEOLLM Task [12.061652026366591]
  大規模言語モデル(LLM)はますます重要で、評価が難しい。 手作業の評価は包括的ではあるが、コストが高くリソース集約的であることが多い。 自動評価はスケーラビリティを提供するが、評価基準の制限によって制約される。
  論文  参考訳（メタデータ） (2025-03-04T07:40:02Z)
• Truth or Mirage? Towards End-to-End Factuality Evaluation with LLM-Oasis [78.07225438556203]
  LLM-Oasisは、エンド・ツー・エンドの事実性評価をトレーニングするための最大のリソースである。 ウィキペディアからクレームを抽出し、これらのクレームのサブセットを偽造し、事実と非事実のテキストのペアを生成することで構築される。 次に、データセットの品質を検証し、事実性評価システムのための金の標準テストセットを作成するために、人間のアノテータに依存します。
  論文  参考訳（メタデータ） (2024-11-29T12:21:15Z)
• Fact, Fetch, and Reason: A Unified Evaluation of Retrieval-Augmented Generation [19.312330150540912]
  新たなアプリケーションは、Large Language Models(LLMs)を使用して、検索強化世代(RAG)機能を強化している。 FRAMESは,LLMが現実的な応答を提供する能力をテストするために設計された高品質な評価データセットである。 本稿では,最先端のLLMでもこの課題に対処し,0.40の精度で検索を行なわないことを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:52:07Z)
• Large Language Models as Evaluators for Recommendation Explanations [23.938202791437337]
  我々は,LLMがレコメンデーション・リコメンデーション・リコメンデーションの評価に役立てられるかどうかを検討する。 我々は,評価者ラベルとユーザが提供する真実との相関を計測するために,3段階のメタ評価戦略を設計し,適用する。 本研究は,LLMを評価対象として活用することは,レコメンデーション説明文の評価において,正確かつ再現可能で費用対効果の高いソリューションであることを示す。
  論文  参考訳（メタデータ） (2024-06-05T13:23:23Z)
• LOVA3: Learning to Visual Question Answering, Asking and Assessment [61.51687164769517]
  質問への回答、質問、評価は、世界を理解し、知識を得るのに不可欠な3つの人間の特性である。 現在のMLLM(Multimodal Large Language Models)は主に質問応答に焦点を当てており、質問や評価スキルの可能性を無視することが多い。 LOVA3は、"Learning tO Visual Question Answering, Asking and Assessment"と名付けられた革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-05-23T18:21:59Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。