論文の概要: Leveraging LLMs for User Stories in AI Systems: UStAI Dataset

• arxiv url: http://arxiv.org/abs/2504.00513v1
• Date: Tue, 01 Apr 2025 08:03:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:23:57.140176
• Title: Leveraging LLMs for User Stories in AI Systems: UStAI Dataset
• Title（参考訳）: AIシステムにおけるユーザストーリのためのLLMの活用 - UStAIデータセット
• Authors: Asma Yamani, Malak Baslyman, Moataz Ahmed,
• Abstract要約: 大きな言語モデル(LLM)は、人間の生成したテキストに代わる有望な代替手段として浮上している。 本稿では,学術論文の要約に基づいて,LLMを用いたAIシステムにおけるユーザストーリ生成の可能性について検討する。 分析の結果,LLMは様々な利害関係者のニーズに触発されたユーザストーリーを生成できることがわかった。
• 参考スコア（独自算出の注目度）: 0.38233569758620056
• License:
• Abstract: AI systems are gaining widespread adoption across various sectors and domains. Creating high-quality AI system requirements is crucial for aligning the AI system with business goals and consumer values and for social responsibility. However, with the uncertain nature of AI systems and the heavy reliance on sensitive data, more research is needed to address the elicitation and analysis of AI systems requirements. With the proprietary nature of many AI systems, there is a lack of open-source requirements artifacts and technical requirements documents for AI systems, limiting broader research and investigation. With Large Language Models (LLMs) emerging as a promising alternative to human-generated text, this paper investigates the potential use of LLMs to generate user stories for AI systems based on abstracts from scholarly papers. We conducted an empirical evaluation using three LLMs and generated $1260$ user stories from $42$ abstracts from $26$ domains. We assess their quality using the Quality User Story (QUS) framework. Moreover, we identify relevant non-functional requirements (NFRs) and ethical principles. Our analysis demonstrates that the investigated LLMs can generate user stories inspired by the needs of various stakeholders, offering a promising approach for generating user stories for research purposes and for aiding in the early requirements elicitation phase of AI systems. We have compiled and curated a collection of stories generated by various LLMs into a dataset (UStAI), which is now publicly available for use.
• Abstract（参考訳）: AIシステムは、さまざまな分野や領域で広く採用されている。 高品質なAIシステム要件の作成は、ビジネス目標と消費者価値をAIシステムと整合させることと、社会的責任のために不可欠である。 しかし、AIシステムの不確実性やセンシティブなデータに大きく依存しているため、AIシステム要求の誘発と分析に対処するためには、さらなる研究が必要である。 多くのAIシステムのプロプライエタリな性質により、オープンソース要件のアーティファクトやAIシステムの技術的要件文書が欠如しており、より広範な調査と調査が制限されている。 本稿では,人間生成テキストの代替として,LLM(Large Language Models)が登場し,学術論文の要約に基づくAIシステムにおけるユーザストーリ生成におけるLLMの利用の可能性について検討する。 3つのLCMを用いて経験的評価を行い、26ドルのドメインから42ドルの抽象化から1260ドルのユーザストーリーを生成した。 品質ユーザストーリー(QUS)フレームワークを用いて品質を評価する。 さらに、関連する非機能要件(NFR)と倫理原則を同定する。 分析の結果,LLMは様々な利害関係者のニーズにインスパイアされたユーザストーリを生成し,研究目的のユーザストーリの生成と,AIシステムの早期要件適用フェーズへの支援に有望なアプローチを提供する。 我々は、様々なLLMによって生成されたストーリーの集合をデータセット(UStAI)にコンパイルし、キュレートしました。

関連論文リスト

• Trust at Your Own Peril: A Mixed Methods Exploration of the Ability of Large Language Models to Generate Expert-Like Systems Engineering Artifacts and a Characterization of Failure Modes [0.0]
  そこでは,人間の専門家が作成したSEアーティファクトをベンチマークとして用いた経験的探索の結果を報告する。 次に、AI生成されたアーティファクトとベンチマークを比較するために、2倍の混合メソッドアプローチを採用しました。 2つの素材は非常に似ているように見えるが、AIが生成したアーティファクトは深刻な障害モードを示しており、検出は困難である。
  論文  参考訳（メタデータ） (2025-02-13T17:05:18Z)
• Analysis of LLMs vs Human Experts in Requirements Engineering [0.0]
  大規模言語モデル(LLM)のソフトウェア開発への応用は、コード生成のテーマとなっている。 本研究は, LLMがソフトウェアシステムの要件を抽出する能力と, タイムボックス型およびプロンプトボックス型研究における人間専門家の要求とを比較した。
  論文  参考訳（メタデータ） (2025-01-31T16:55:17Z)
• Can We Trust AI Agents? An Experimental Study Towards Trustworthy LLM-Based Multi-Agent Systems for AI Ethics [10.084913433923566]
  本研究では,信頼度向上技術が倫理的AI出力生成に与える影響について検討する。 我々はLLM-BMASのプロトタイプを設計し、エージェントは現実世界の倫理的AI問題に関する構造化された議論を行う。 議論では、バイアス検出、透明性、説明責任、ユーザの同意、コンプライアンス、公正性評価、EU AI Actコンプライアンスといった用語が明らかにされている。
  論文  参考訳（メタデータ） (2024-10-25T20:17:59Z)
• Where are we in audio deepfake detection? A systematic analysis over generative and detection models [59.09338266364506]
  SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。 最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供する。 従来のモデルベース検出システムと基礎モデルベース検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-10-06T01:03:42Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for AI Accountability [28.67753149592534]
  本研究は,包括的メトリクスカタログへの取り組みを導入することで,説明責任のギャップを埋めるものである。 我々のカタログは、手続き的整合性を支えるプロセスメトリクス、必要なツールやフレームワークを提供するリソースメトリクス、AIシステムのアウトプットを反映する製品メトリクスを記述しています。
  論文  参考訳（メタデータ） (2023-11-22T04:43:16Z)
• AI for All: Operationalising Diversity and Inclusion Requirements for AI Systems [4.884533605897174]
  この研究は、AIシステムに対するD&I要件の抽出と取得方法に関する研究と実践の欠如に対処することを目的としている。 我々は、D&I要件を捉えるためのカスタマイズされたユーザストーリーテンプレートを提案し、D&I要件を2つのAIシステムで記述する際に、テーマとユーザストーリーテンプレートを使用するためのフォーカスグループ演習を実施した。
  論文  参考訳（メタデータ） (2023-11-07T23:15:03Z)
• Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
  大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。 我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
  論文  参考訳（メタデータ） (2023-07-05T06:03:40Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)
• Human-Centric Multimodal Machine Learning: Recent Advances and Testbed on AI-based Recruitment [66.91538273487379]
  人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。 i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。 異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
  論文  参考訳（メタデータ） (2023-02-13T16:44:44Z)
• Bias in Multimodal AI: Testbed for Fair Automatic Recruitment [73.85525896663371]
  異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。 我々は、性別や人種の偏りを意識的に評価したマルチモーダルな合成プロファイルを用いて、自動求人アルゴリズムを訓練する。 我々の方法論と結果は、一般により公平なAIベースのツール、特により公平な自動採用システムを生成する方法を示している。
  論文  参考訳（メタデータ） (2020-04-15T15:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。