論文の概要: An Analysis of Automated Use Case Component Extraction from Scenarios using ChatGPT
- arxiv url: http://arxiv.org/abs/2408.03395v1
- Date: Tue, 6 Aug 2024 18:43:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 14:36:13.094055
- Title: An Analysis of Automated Use Case Component Extraction from Scenarios using ChatGPT
- Title(参考訳): ChatGPTを用いたシナリオからのユースケース自動抽出の分析
- Authors: Pragyan KC, Rocky Slavin, Sepideh Ghanavati, Travis Breaux, Mitra Bokaei Hosseini,
- Abstract要約: 大規模言語モデル(LLM)を用いたユーザ認可シナリオからユースケースコンポーネントを抽出する手法を提案する。
以上の結果から,LLMはUC成分を抽出するために追加のドメイン知識を必要とすることが明らかとなり,この知識を組み込むことで抽出したUC成分の品質が向上することが示唆された。
- 参考スコア(独自算出の注目度): 2.437351937956065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mobile applications (apps) are often developed by only a small number of developers with limited resources, especially in the early years of the app's development. In this setting, many requirements acquisition activities, such as interviews, are challenging or lower priority than development and release activities. Moreover, in this early period, requirements are frequently changing as mobile apps evolve to compete in the marketplace. As app development companies move to standardize their development processes, however, they will shift to documenting and analyzing requirements. One low-cost source of requirements post-deployment are user-authored scenarios describing how they interact with an app. We propose a method for extracting use case components from user-authored scenarios using large language models (LLMs). The method consists of a series of prompts that were developed to improve precision and recall on a ground truth dataset of 50 scenarios independently labeled with UC components. Our results reveal that LLMs require additional domain knowledge to extract UC components, and that refining prompts to include this knowledge improves the quality of the extracted UC components.
- Abstract(参考訳): モバイルアプリケーション(アプリケーション)は、限られたリソースを持つ少数の開発者によって開発されることが多い。
この環境では、インタビューのような多くの要求獲得活動は、開発やリリース活動よりも困難または低い優先順位で行われている。
さらに、この初期段階では、モバイルアプリがマーケットプレースで競争するために進化するにつれて、要件が頻繁に変化している。
しかし、アプリ開発企業が開発プロセスを標準化しようとすると、要件の文書化と分析にシフトする。
デプロイ後の低コスト要件のひとつが,アプリとのインタラクション方法を記述するユーザ権限のシナリオだ。
本稿では,大規模言語モデル(LLM)を用いたユーザ認可シナリオからユースケースコンポーネントを抽出する手法を提案する。
この方法は、精度を向上させるために開発された一連のプロンプトから成り、UCコンポーネントに独立してラベル付けされた50のシナリオの地上真実データセットをリコールする。
以上の結果から,LLMはUC成分を抽出するために追加のドメイン知識を必要とすることが明らかとなり,この知識を組み込むことで抽出したUC成分の品質が向上することが示唆された。
関連論文リスト
- Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。
実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。
以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文 参考訳(メタデータ) (2024-06-19T00:28:58Z) - Automatic benchmarking of large multimodal models via iterative experiment programming [71.78089106671581]
本稿では,LMMの自動ベンチマークのための最初のフレームワークであるAPExを紹介する。
自然言語で表現された研究の質問に対して、APExは大きな言語モデル(LLM)と事前定義されたツールのライブラリを活用して、手元にあるモデルの一連の実験を生成する。
調査の現在の状況に基づいて、APExはどの実験を行うか、結果が結論を引き出すのに十分かどうかを選択する。
論文 参考訳(メタデータ) (2024-06-18T06:43:46Z) - CAAP: Context-Aware Action Planning Prompting to Solve Computer Tasks with Front-End UI Only [21.054681757006385]
高度な推論能力を持つ大規模言語モデル(LLM)は、エージェントがより複雑で以前は目に見えないタスクをこなすためのステージを定めている。
環境認識のためのスクリーンショットのみに基づいて機能するエージェントを提案する。
67種類のMiniWoB++問題に対して94.4%の成功率を達成した。
論文 参考訳(メタデータ) (2024-06-11T05:21:20Z) - Elicitron: An LLM Agent-Based Simulation Framework for Design Requirements Elicitation [38.98478510165569]
本稿では,Large Language Models (LLMs) を利用した新たなフレームワークを提案する。
LLMは多数のシミュレーションユーザ(LLMエージェント)を生成するために使用され、より広い範囲のユーザニーズの探索を可能にする。
論文 参考訳(メタデータ) (2024-04-04T17:36:29Z) - T-RAG: Lessons from the LLM Trenches [7.545277950323593]
アプリケーションエリアは、民間企業文書に対する質問応答です。
Retrieval-Augmented Generationは、LLMベースのアプリケーションを構築するための最も顕著なフレームワークである。
Tree-RAG (T-RAG) と呼ばれるシステムは、エンティティ階層を表現するためにツリー構造を使用する。
論文 参考訳(メタデータ) (2024-02-12T08:45:08Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z) - Experiential Co-Learning of Software-Developing Agents [83.34027623428096]
大規模言語モデル(LLM)は、特にソフトウェア開発において、様々な領域に大きな変化をもたらした。
本稿では,新しいLLM学習フレームワークであるExperiential Co-Learningを紹介する。
実験では、このフレームワークにより、エージェントは、目に見えないソフトウェア開発タスクをより効果的に対処できることを示した。
論文 参考訳(メタデータ) (2023-12-28T13:50:42Z) - Lessons from Building StackSpot AI: A Contextualized AI Coding Assistant [2.268415020650315]
大規模言語モデル上に構築された新しいタイプのツールが登場しつつある。
これらのツールは、微調整やコンテキスト情報によるユーザプロンプトの強化といった手法を用いて、欠点を軽減することを目的としている。
論文 参考訳(メタデータ) (2023-11-30T10:51:26Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - Achieving Guidance in Applied Machine Learning through Software
Engineering Techniques [0.0]
現在開発環境とML APIを使用しており、MLアプリケーションの開発者に提供しています。
現在のMLツールは、いくつかの基本的なソフトウェアエンジニアリングのゴールドスタンダードを満たすには足りません。
この結果から,ML固有のソフトウェア工学の研究に十分な機会があることが示唆された。
論文 参考訳(メタデータ) (2022-03-29T12:54:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。