論文の概要: Interlinking User Stories and GUI Prototyping: A Semi-Automatic LLM-based Approach

• arxiv url: http://arxiv.org/abs/2406.08120v1
• Date: Wed, 12 Jun 2024 11:59:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 17:05:29.554356
• Title: Interlinking User Stories and GUI Prototyping: A Semi-Automatic LLM-based Approach
• Title（参考訳）: ユーザストーリーとGUIプロトタイピングのインターリンク:半自動LCMによるアプローチ
• Authors: Kristian Kolthoff, Felix Kretzer, Christian Bartelt, Alexander Maedche, Simone Paolo Ponzetto,
• Abstract要約: グラフィカルユーザインタフェース(GUI)のプロトタイプにおいて,機能的NLベースの要求の実装を検証するための新しい言語モデル(LLM)ベースのアプローチを提案する。 提案手法は,GUIプロトタイプに実装されていない機能的ユーザストーリの検出と,要件を直接実装する適切なGUIコンポーネントのレコメンデーションを提供することを目的としている。
• 参考スコア（独自算出の注目度）: 55.762798168494726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive systems are omnipresent today and the need to create graphical user interfaces (GUIs) is just as ubiquitous. For the elicitation and validation of requirements, GUI prototyping is a well-known and effective technique, typically employed after gathering initial user requirements represented in natural language (NL) (e.g., in the form of user stories). Unfortunately, GUI prototyping often requires extensive resources, resulting in a costly and time-consuming process. Despite various easy-to-use prototyping tools in practice, there is often a lack of adequate resources for developing GUI prototypes based on given user requirements. In this work, we present a novel Large Language Model (LLM)-based approach providing assistance for validating the implementation of functional NL-based requirements in a GUI prototype embedded in a prototyping tool. In particular, our approach aims to detect functional user stories that are not implemented in a GUI prototype and provides recommendations for suitable GUI components directly implementing the requirements. We collected requirements for existing GUIs in the form of user stories and evaluated our proposed validation and recommendation approach with this dataset. The obtained results are promising for user story validation and we demonstrate feasibility for the GUI component recommendations.
• Abstract（参考訳）: 現在、インタラクティブなシステムは全能的であり、グラフィカルユーザインタフェース(GUI)を作成する必要性は、同様にユビキタスである。 GUIプロトタイピング(GUI Prototyping)は、一般的に自然言語(NL)で表現された最初のユーザ要件(例:ユーザストーリー)を収集した後に使用される、よく知られた、効果的なテクニックである。 残念なことに、GUIプロトタイピングは、しばしば広範囲のリソースを必要とするため、コストがかかり、時間がかかります。 様々な使い勝手の良いプロトタイピングツールがあるにもかかわらず、与えられたユーザー要求に基づいてGUIプロトタイプを開発するのに十分なリソースが不足していることが多い。 本稿では,プロトタイピングツールに組み込まれたGUIプロトタイプにおいて,機能的NLベースの要求の実装を検証するための支援を提供する,LLMに基づく新しいアプローチを提案する。 特に本研究の目的は,GUIプロトタイプに実装されていない機能的ユーザストーリの検出と,その要件を直接実装する適切なGUIコンポーネントのレコメンデーションを提供することである。 既存のGUIの要件をユーザストーリーとして収集し,提案した検証手法と推奨手法をこのデータセットで評価した。 得られた結果はユーザストーリーの検証に有効であり,GUIコンポーネントのレコメンデーションの実現可能性を示す。

関連論文リスト

• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• OS-ATLAS: A Foundation Action Model for Generalist GUI Agents [55.37173845836839]
  OS-AtlasはGUIグラウンディングとOODエージェントタスクに優れた基礎的なGUIアクションモデルである。 現在までに1300万以上のGUI要素を含む、オープンソースのクロスプラットフォームGUI基盤コーパスをリリースしています。
  論文  参考訳（メタデータ） (2024-10-30T17:10:19Z)
• Self-Elicitation of Requirements with Automated GUI Prototyping [12.281152349482024]
  SERGUIは、自動GUIプロトタイピングアシスタントに基づく、要求の自己適用を可能にする新しいアプローチである。 SerGUIは、NLR(Natural Language Requirements)ベースのGUI検索を通じて、大規模なGUIリポジトリに具現化された膨大なプロトタイピング知識を活用する。 提案手法の有効性を評価するため,予備評価を行った。
  論文  参考訳（メタデータ） (2024-09-24T18:40:38Z)
• GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
  GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。 まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。 次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
  論文  参考訳（メタデータ） (2024-06-17T08:30:55Z)
• GUI-WORLD: A Dataset for GUI-oriented Multimodal LLM-based Agents [73.9254861755974]
  本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。 各種GUIコンテンツの理解において,ImageLLMs や VideoLLMs などの最先端MLLMの能力を評価する。
  論文  参考訳（メタデータ） (2024-06-16T06:56:53Z)
• Boosting GUI Prototyping with Diffusion Models [0.440401067183266]
  Stable Diffusionのようなディープラーニングモデルは、強力なテキスト・ツー・イメージツールとして登場した。 安定拡散を利用してモバイルUIを生成するアプローチであるUI-Diffuserを提案する。 予備的な結果は、UI-DiffuserがモバイルGUI設計を生成するための効率的でコスト効率の良い方法を提供することを示している。
  論文  参考訳（メタデータ） (2023-06-09T20:08:46Z)
• From Pixels to UI Actions: Learning to Follow Instructions via Graphical User Interfaces [66.85108822706489]
  本稿では,人間がよく使う概念的インタフェースを用いて,デジタル世界と対話するエージェントを作成することに焦点を当てる。 このようなエージェントは、タスクに従うGUIベースの命令のMiniWob++ベンチマークで、人間のクラウドワーカーより優れています。
  論文  参考訳（メタデータ） (2023-05-31T23:39:18Z)
• GUIGAN: Learning to Generate GUI Designs Using Generative Adversarial Networks [0.0]
  GUI設計を自動生成するモデルGUIGANを開発した。 私たちのモデルは、Frechet Inception distance (FID) の30.77%、および1-Nearest Neighbor Accuracy (1-NNA) の12.35%のベースライン法を著しく上回る。
  論文  参考訳（メタデータ） (2021-01-25T09:42:58Z)
• Object Detection for Graphical User Interface: Old Fashioned or Deep Learning or a Combination? [21.91118062303175]
  我々は,50k以上のGUI画像上で7つの代表的GUI要素検出手法について,大規模な実証的研究を行った。 本研究は、解決すべき技術的課題に光を当て、新しいGUI要素検出手法の設計について報告する。 25,000個のGUI画像に対する評価は,GUI要素検出における最先端性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-08-12T06:36:33Z)
• Applied Awareness: Test-Driven GUI Development using Computer Vision and Cryptography [0.0]
  テスト駆動開発は非現実的であり、一般的には、黄金の画像を生成したり、インタラクティブなテストシナリオを構築するためにGUIの初期実装を必要とします。 バックエンド通信の観点でGUIプレゼンテーションを解釈する,新しいかつ即時適用可能な手法を実証する。 このバックエンド通信は、プラットフォームに依存したUIアベイランスやアクセシビリティ機能に依存する典型的なテスト方法論の欠陥を回避する。
  論文  参考訳（メタデータ） (2020-06-05T22:46:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。