論文の概要: An Analysis of Automated Use Case Component Extraction from Scenarios using ChatGPT

• arxiv url: http://arxiv.org/abs/2408.03395v1
• Date: Tue, 6 Aug 2024 18:43:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 14:36:13.094055
• Title: An Analysis of Automated Use Case Component Extraction from Scenarios using ChatGPT
• Title（参考訳）: ChatGPTを用いたシナリオからのユースケース自動抽出の分析
• Authors: Pragyan KC, Rocky Slavin, Sepideh Ghanavati, Travis Breaux, Mitra Bokaei Hosseini,
• Abstract要約: 大規模言語モデル(LLM)を用いたユーザ認可シナリオからユースケースコンポーネントを抽出する手法を提案する。 以上の結果から,LLMはUC成分を抽出するために追加のドメイン知識を必要とすることが明らかとなり,この知識を組み込むことで抽出したUC成分の品質が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 2.437351937956065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mobile applications (apps) are often developed by only a small number of developers with limited resources, especially in the early years of the app's development. In this setting, many requirements acquisition activities, such as interviews, are challenging or lower priority than development and release activities. Moreover, in this early period, requirements are frequently changing as mobile apps evolve to compete in the marketplace. As app development companies move to standardize their development processes, however, they will shift to documenting and analyzing requirements. One low-cost source of requirements post-deployment are user-authored scenarios describing how they interact with an app. We propose a method for extracting use case components from user-authored scenarios using large language models (LLMs). The method consists of a series of prompts that were developed to improve precision and recall on a ground truth dataset of 50 scenarios independently labeled with UC components. Our results reveal that LLMs require additional domain knowledge to extract UC components, and that refining prompts to include this knowledge improves the quality of the extracted UC components.
• Abstract（参考訳）: モバイルアプリケーション(アプリケーション)は、限られたリソースを持つ少数の開発者によって開発されることが多い。 この環境では、インタビューのような多くの要求獲得活動は、開発やリリース活動よりも困難または低い優先順位で行われている。 さらに、この初期段階では、モバイルアプリがマーケットプレースで競争するために進化するにつれて、要件が頻繁に変化している。 しかし、アプリ開発企業が開発プロセスを標準化しようとすると、要件の文書化と分析にシフトする。 デプロイ後の低コスト要件のひとつが,アプリとのインタラクション方法を記述するユーザ権限のシナリオだ。 本稿では,大規模言語モデル(LLM)を用いたユーザ認可シナリオからユースケースコンポーネントを抽出する手法を提案する。 この方法は、精度を向上させるために開発された一連のプロンプトから成り、UCコンポーネントに独立してラベル付けされた50のシナリオの地上真実データセットをリコールする。 以上の結果から,LLMはUC成分を抽出するために追加のドメイン知識を必要とすることが明らかとなり,この知識を組み込むことで抽出したUC成分の品質が向上することが示唆された。

関連論文リスト

• SAGEval: The frontiers of Satisfactory Agent based NLG Evaluation for reference-free open-ended text [0.848663031844483]
  本稿では,参照/グラウンドラベルが存在しない,あるいは十分に利用できない,自然言語生成のためのロバストな評価手法を開発する必要性を明らかにする。 本研究では,LCM評価器のスコアを補正し,複雑なNLG評価シナリオにおいてもラベル付きデータの必要性を低減できることを示す。
  論文  参考訳（メタデータ） (2024-11-25T04:07:16Z)
• Generative Context Distillation [48.91617280112579]
  Generative Context Distillation (GCD) は、ジョイントトレーニングアプローチを採用した軽量なプロンプト内在化手法である。 エージェントベースのアプリケーションシナリオにおいて,このアプローチが複雑なプロンプトを効果的に内部化することを示す。
  論文  参考訳（メタデータ） (2024-11-24T17:32:20Z)
• SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation [89.24729958546168]
  We present SPA-Bench, a comprehensive SmartPhone Agent Benchmark designed to evaluate (M)LLM-based agent。 SPA-Benchは3つの重要なコントリビューションを提供している。 英語と中国語の両方で、システムとサードパーティアプリをカバーする多様なタスクセットで、日々のルーチンで一般的に使用される機能に焦点を当てている。 複数の次元にまたがってエージェントのパフォーマンスを自動的に評価する新しい評価パイプラインは、タスク完了とリソース消費に関連する7つの指標を含んでいる。
  論文  参考訳（メタデータ） (2024-10-19T17:28:48Z)
• AppAgent v2: Advanced Agent for Flexible Mobile Interactions [46.789563920416626]
  本研究は,モバイル機器向けの新しいLLMベースのマルチモーダルエージェントフレームワークを提案する。 我々のエージェントは、様々なアプリケーションにまたがる適応性を高めるフレキシブルなアクション空間を構築する。 本研究は,実世界のシナリオにおいて,フレームワークの優れた性能を実証し,その有効性を確認した。
  論文  参考訳（メタデータ） (2024-08-05T06:31:39Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Elicitron: An LLM Agent-Based Simulation Framework for Design Requirements Elicitation [38.98478510165569]
  本稿では,Large Language Models (LLMs) を利用した新たなフレームワークを提案する。 LLMは多数のシミュレーションユーザ(LLMエージェント)を生成するために使用され、より広い範囲のユーザニーズの探索を可能にする。
  論文  参考訳（メタデータ） (2024-04-04T17:36:29Z)
• T-RAG: Lessons from the LLM Trenches [7.545277950323593]
  アプリケーションエリアは、民間企業文書に対する質問応答です。 Retrieval-Augmented Generationは、LLMベースのアプリケーションを構築するための最も顕著なフレームワークである。 Tree-RAG (T-RAG) と呼ばれるシステムは、エンティティ階層を表現するためにツリー構造を使用する。
  論文  参考訳（メタデータ） (2024-02-12T08:45:08Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Experiential Co-Learning of Software-Developing Agents [83.34027623428096]
  大規模言語モデル(LLM)は、特にソフトウェア開発において、様々な領域に大きな変化をもたらした。 本稿では,新しいLLM学習フレームワークであるExperiential Co-Learningを紹介する。 実験では、このフレームワークにより、エージェントは、目に見えないソフトウェア開発タスクをより効果的に対処できることを示した。
  論文  参考訳（メタデータ） (2023-12-28T13:50:42Z)
• Lessons from Building StackSpot AI: A Contextualized AI Coding Assistant [2.268415020650315]
  大規模言語モデル上に構築された新しいタイプのツールが登場しつつある。 これらのツールは、微調整やコンテキスト情報によるユーザプロンプトの強化といった手法を用いて、欠点を軽減することを目的としている。
  論文  参考訳（メタデータ） (2023-11-30T10:51:26Z)
• Achieving Guidance in Applied Machine Learning through Software Engineering Techniques [0.0]
  現在開発環境とML APIを使用しており、MLアプリケーションの開発者に提供しています。 現在のMLツールは、いくつかの基本的なソフトウェアエンジニアリングのゴールドスタンダードを満たすには足りません。 この結果から,ML固有のソフトウェア工学の研究に十分な機会があることが示唆された。
  論文  参考訳（メタデータ） (2022-03-29T12:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。