論文の概要: GUISpector: An MLLM Agent Framework for Automated Verification of Natural Language Requirements in GUI Prototypes

• arxiv url: http://arxiv.org/abs/2510.04791v1
• Date: Mon, 06 Oct 2025 13:15:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.874592
• Title: GUISpector: An MLLM Agent Framework for Automated Verification of Natural Language Requirements in GUI Prototypes
• Title（参考訳）: GUISpector:GUIプロトタイプにおける自然言語要求の自動検証のためのMLLMエージェントフレームワーク
• Authors: Kristian Kolthoff, Felix Kretzer, Simone Paolo Ponzetto, Alexander Maedche, Christian Bartelt,
• Abstract要約: 本稿では,GUIプロトタイプにおけるNL要求の自動検証にマルチモーダル(M)LLMエージェントを利用する新しいフレームワークを提案する。 GuiSpectorはエージェントの検証プロセスから詳細なNLフィードバックを抽出し、開発者に実行可能な洞察を提供する。 本稿では,これらの機能を統合化し,検証実行の監視,エージェントの合理性検査,エンドツーエンドの要件検証プロセスの管理を行うインターフェースを提供する。
• 参考スコア（独自算出の注目度）: 58.197090145723735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: GUIs are foundational to interactive systems and play a pivotal role in early requirements elicitation through prototyping. Ensuring that GUI implementations fulfill NL requirements is essential for robust software engineering, especially as LLM-driven programming agents become increasingly integrated into development workflows. Existing GUI testing approaches, whether traditional or LLM-driven, often fall short in handling the complexity of modern interfaces, and typically lack actionable feedback and effective integration with automated development agents. In this paper, we introduce GUISpector, a novel framework that leverages a multi-modal (M)LLM-based agent for the automated verification of NL requirements in GUI prototypes. First, GUISpector adapts a MLLM agent to interpret and operationalize NL requirements, enabling to autonomously plan and execute verification trajectories across GUI applications. Second, GUISpector systematically extracts detailed NL feedback from the agent's verification process, providing developers with actionable insights that can be used to iteratively refine the GUI artifact or directly inform LLM-based code generation in a closed feedback loop. Third, we present an integrated tool that unifies these capabilities, offering practitioners an accessible interface for supervising verification runs, inspecting agent rationales and managing the end-to-end requirements verification process. We evaluated GUISpector on a comprehensive set of 150 requirements based on 900 acceptance criteria annotations across diverse GUI applications, demonstrating effective detection of requirement satisfaction and violations and highlighting its potential for seamless integration of actionable feedback into automated LLM-driven development workflows. The video presentation of GUISpector is available at: https://youtu.be/JByYF6BNQeE, showcasing its main capabilities.
• Abstract（参考訳）: GUIはインタラクティブシステムの基本であり、プロトタイピングによる早期要求の誘発において重要な役割を担っている。 GUI実装がNL要件を満たすことを保証することは、堅牢なソフトウェアエンジニアリングにとって不可欠である。 従来のGUIテストアプローチやLLM駆動のアプローチは、現代的なインターフェースの複雑さを扱うのに不足することが多く、一般的には実用的なフィードバックや自動開発エージェントとの効果的な統合が欠如している。 本稿では,GUIプロトタイプにおけるNL要求の自動検証にマルチモーダル(M)LLMエージェントを利用する新しいフレームワークであるGUISpectorを紹介する。 まず、GUISpectorはMLLMエージェントを適用してNL要件を解釈し、運用し、GUIアプリケーション間で検証トラジェクトリを自律的に計画し実行することができる。 第二に、GUISpectorはエージェントの検証プロセスから詳細なNLフィードバックを体系的に抽出し、GUIアーティファクトを反復的に洗練したり、LLMベースのコード生成をクローズドなフィードバックループで直接通知できる実用的な洞察を提供する。 第3に,これらの機能の統合,検証実行の監視,エージェントの合理性検査,エンドツーエンドの要件検証プロセス管理のためのアクセス可能なインターフェースを提供する。 我々はGUISpectorを、多様なGUIアプリケーションにまたがる900の受け入れ基準アノテーションに基づいて、150の要件の包括的なセットで評価し、要求満足度と違反を効果的に検出し、自動LLM駆動開発ワークフローへの実行可能なフィードバックのシームレスな統合の可能性を強調した。 GUISpectorのビデオプレゼンテーションは、https://youtu.be/JByYF6BNQeEで公開されており、主な機能を示している。

関連論文リスト

• GUIDE: LLM-Driven GUI Generation Decomposition for Automated Prototyping [55.762798168494726]
  印象的なコード生成機能を備えた大規模言語モデル(LLM)は、GUIプロトタイピングを自動化するための有望なアプローチを提供する。 しかし、現在のLLMベースのプロトタイピングソリューションと従来のユーザベースのGUIプロトタイピングアプローチの間にはギャップがある。 プロトタイピングフレームワークであるFigmaにシームレスに統合された新しいLLM駆動GUI生成分解手法であるGUIDEを提案する。
  論文  参考訳（メタデータ） (2025-02-28T14:03:53Z)
• Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation [53.1000575179389]
  LLMに基づくGUI検索とフィルタリング機構を統合した検索型GUI生成(RAGG)手法を提案する。 また,GUI 生成に Prompt Decomposition (PDGG) と Self-Critique (SCGG) を適用した。 UI/UX経験を持つ100人以上の集団作業者の3000以上のGUIアノテーションを対象とし,SPGGはPDGGやRAGGとは対照的に,より効果的なGUI生成につながる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-15T22:17:30Z)
• Large Language Model-Brained GUI Agents: A Survey [42.82362907348966]
  マルチモーダルモデルはGUI自動化の新しい時代を支えてきた。 彼らは自然言語理解、コード生成、視覚処理において例外的な能力を示した。 これらのエージェントはパラダイムシフトを表しており、ユーザーは単純な会話コマンドで複雑なマルチステップタスクを実行できる。
  論文  参考訳（メタデータ） (2024-11-27T12:13:39Z)
• CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
  MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。 包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。 AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T08:29:03Z)
• ASSISTGUI: Task-Oriented Desktop Graphical User Interface Automation [30.693616802332745]
  本稿では,ユーザが要求するタスクに応じて,Windowsプラットフォーム上でマウスとキーボードを操作することができるかどうかを評価するための新しいベンチマーク,AssistGUIを提案する。 本稿では,AIエージェントによって駆動される高度なGUIを組み込んだ高度なアクタ・クリティカル・フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-20T15:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。