論文の概要: ShaRE your Data! Characterizing Datasets for LLM-based Requirements Engineering

• arxiv url: http://arxiv.org/abs/2510.18787v1
• Date: Tue, 21 Oct 2025 16:40:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.931801
• Title: ShaRE your Data! Characterizing Datasets for LLM-based Requirements Engineering
• Title（参考訳）: LLMベースの要求工学のためのデータセットの特徴付け
• Authors: Quim Motger, Carlota Catot, Xavier Franch,
• Abstract要約: 大規模言語モデル(LLM)は、トレーニングと推論の段階にわたって堅牢なパフォーマンスを達成するために、ドメイン固有のデータセットに依存している。 要求工学(RE)では、データ不足は、調査やマッピング研究で報告された永続的な制限である。 本研究では,LLM4REで使用されるデータセットの限られた可視性と特徴について考察する。
• 参考スコア（独自算出の注目度）: 2.1774928300623615
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: [Context] Large Language Models (LLMs) rely on domain-specific datasets to achieve robust performance across training and inference stages. However, in Requirements Engineering (RE), data scarcity remains a persistent limitation reported in surveys and mapping studies. [Question/Problem] Although there are multiple datasets supporting LLM-based RE tasks (LLM4RE), they are fragmented and poorly characterized, limiting reuse and comparability. This research addresses the limited visibility and characterization of datasets used in LLM4RE. We investigate which public datasets are employed, how they can be systematically characterized, and which RE tasks and dataset descriptors remain under-represented. [Ideas/Results] To address this, we conduct a systematic mapping study to identify and analyse datasets used in LLM4RE research. A total of 62 publicly available datasets are referenced across 43 primary studies. Each dataset is characterized along descriptors such as artifact type, granularity, RE stage, task, domain, and language. Preliminary findings show multiple research gaps, including limited coverage for elicitation tasks, scarce datasets for management activities beyond traceability, and limited multilingual availability. [Contribution] This research preview offers a public catalogue and structured characterization scheme to support dataset selection, comparison, and reuse in LLM4RE research. Future work will extend the scope to grey literature, as well as integration with open dataset and benchmark repositories.
• Abstract（参考訳）: [コンテキスト]大規模言語モデル(LLM)は、トレーニングと推論の段階にわたって堅牢なパフォーマンスを達成するために、ドメイン固有のデータセットに依存します。 しかし、Requireements Engineering (RE)では、データ不足は調査やマッピング研究で報告されている永続的な制限であり続けている。 [Question/Problem] LLMベースのREタスク(LLM4RE)をサポートする複数のデータセットがあるが、それらは断片化されており、特徴が不十分で、再利用と互換性が制限されている。 本研究では,LLM4REで使用されるデータセットの限られた可視性と特徴について考察する。 我々は、どの公開データセットが採用されているか、どのように体系的に特徴付けることができるか、どのREタスクとデータセット記述子を非表現のままにするかを検討する。 [イデアス/結果] LLM4RE研究で使用されるデータセットを特定し分析するために, 体系的なマッピング研究を行う。 計62の公開データセットが43の研究で参照されている。 各データセットは、アーティファクトタイプ、粒度、REステージ、タスク、ドメイン、言語などの記述子に沿って特徴付けられる。 予備的な発見は、エリケーションタスクのカバレッジの制限、トレーサビリティを超える管理アクティビティのためのデータセットの不足、マルチリンガル可用性の制限など、複数の研究ギャップを示している。 [コントリビューション]本研究プレビューは、LLM4RE研究におけるデータセットの選択、比較、再利用をサポートするための、パブリックカタログと構造化された特徴付けスキームを提供する。 今後の作業は、グレーの文献に範囲を広げ、オープンなデータセットやベンチマークリポジトリとの統合も行います。

関連論文リスト

• More Parameters Than Populations: A Systematic Literature Review of Large Language Models within Survey Research [0.7699714865575188]
  大きな言語モデル(LLM)は、その可能性を完全に活用するために、新しい技術的課題と前提条件をもたらす。 本稿では,複数の大規模データベースからのキーワード検索に基づく体系的文献レビューの進捗状況について報告する。 本稿では, LLMの潜在的なユースケースの選択例と, 既存の文献の例に基づく落とし穴について論じる。
  論文  参考訳（メタデータ） (2025-09-03T15:15:31Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• ImplicitAVE: An Open-Source Dataset and Multimodal LLMs Benchmark for Implicit Attribute Value Extraction [67.86012624533461]
  ImplicitAVEは、暗黙の属性値抽出のための最初の、公開のマルチモーダルデータセットである。 データセットには5つのドメインにわたる68kのトレーニングと1.6kのテストデータが含まれている。 また,マルチモーダル大言語モデル(MLLM)の暗黙的AVEへの適用についても検討する。
  論文  参考訳（メタデータ） (2024-04-24T01:54:40Z)
• Datasets for Large Language Models: A Comprehensive Survey [37.153302283062004]
  この調査は、LLMデータセットの基本的側面を5つの観点から統合し、分類する。 この調査は、一般的な課題を浮き彫りにし、今後の調査への道のりを指摘している。 調査対象のデータサイズは、事前トレーニングのコーパスが774.5TB、他のデータセットが700万インスタンスを超えている。
  論文  参考訳（メタデータ） (2024-02-28T04:35:51Z)
• Large Language Models for Software Engineering: A Systematic Literature Review [34.12458948051519]
  大規模言語モデル(LLM)は、ソフトウェア工学(SE)を含む多くの領域に大きな影響を与えている。 我々は、2017年1月から2024年1月までの395件の研究論文を選定、分析し、4つの重要な研究質問(RQ)に答える。 これらのRQに対する回答から、現在の最先端とトレンド、既存の研究のギャップの特定、今後の研究に向けた有望な領域のフラグ付けなどについて論じる。
  論文  参考訳（メタデータ） (2023-08-21T10:37:49Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。