論文の概要: From Natural Language Requirements to Graphical User Interfaces: Automated Prototyping and Verification with Pretrained Language Models
- arxiv url: http://arxiv.org/abs/2608.24749v1
- Date: Tue, 25 Aug 2026 15:53:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:35.086912
- Title: From Natural Language Requirements to Graphical User Interfaces: Automated Prototyping and Verification with Pretrained Language Models
- Title（参考訳）: 自然言語要件からグラフィカルユーザインタフェースへ:事前訓練された言語モデルによる自動プロトタイピングと検証
- Abstract要約: この作業は、2つの課題に対処する: (C1) NL要求をGUIプロトタイプに変換するのに必要な労力を削減し、 (C2) GUIアプリケーションとプロトタイプの要求検証に必要な労力を削減します。
- 参考スコア（独自算出の注目度）: 1.5833592795161977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Requirements elicitation is essential for developing interactive software systems, as it helps ensure that the resulting product meets stakeholder needs. Since elicitation typically relies on natural language (NL), misunderstandings can arise from its inherent ambiguity. Formal specifications can reduce ambiguity but require technical expertise. GUI prototyping therefore provides a valuable alternative by turning requirements into tangible visual artifacts that support communication, elicitation, and validation. However, creating high-fidelity prototypes remains time-consuming and costly. Similarly, requirements verification, which ensures that implementations conform to specified requirements, is still largely manual, while existing automated approaches are often limited to static, rule-based techniques. This work addresses two challenges: (C1) reducing the effort required to transform NL requirements into GUI prototypes, and (C2) reducing the effort required for requirements verification in GUI applications and prototypes. For C1, we introduce novel NL-based GUI retrieval and reranking methods, new benchmarks, and techniques for efficiently adapting LLMs to GUI generation, including proprietary GUI representations. Their effectiveness is demonstrated on a large benchmark with human annotations. For C2, we propose LLM-based methods for verifying semantically complex NL requirements on static GUI prototypes and introduce a multimodal LLM-based agent for verifying complex functional and non-functional requirements in dynamic GUI applications through automatically generated and evaluated interaction trajectories. Overall, the proposed methods substantially reduce manual effort in GUI prototyping and requirements verification.
- Abstract（参考訳）: 製品がステークホルダーのニーズを満たすことを保証するのに役立つので、インタラクティブなソフトウェアシステムの開発には要件の適用が不可欠です。
典型的には自然言語(NL)に依存しているため、誤解は本来の曖昧さから生じうる。
形式的な仕様は曖昧さを減らせるが、技術的な専門知識を必要とする。
したがって、GUIプロトタイピングは、要求をコミュニケーション、エリケーション、バリデーションをサポートする有形のビジュアルアーティファクトに変換することで、価値のある代替手段を提供する。
しかし、高忠実度プロトタイプの作成には時間と費用がかかる。
同様に、実装が特定の要件に準拠していることを保証する要件検証も依然として手作業であり、既存の自動化アプローチは静的なルールベースの技術に限られることが多い。
この作業は、2つの課題に対処する: (C1) NL要求をGUIプロトタイプに変換するのに必要な労力を削減し、 (C2) GUIアプリケーションとプロトタイプの要求検証に必要な労力を削減します。
C1では、新規なNLベースのGUI検索とリグレード手法、新しいベンチマーク、GUI生成にLLMを効率よく適応させる技術(プロプライエタリなGUI表現を含む)を紹介する。
それらの効果は、人間のアノテーションを使った大規模なベンチマークで実証されている。
C2では,静的GUIプロトタイプにおける意味論的に複雑なNL要求を検証するLLMベースの手法を提案し,動的GUIアプリケーションにおける複雑な機能的・非機能的要件を自動生成および評価された相互作用軌跡を介して検証するマルチモーダルなLLMベースのエージェントを提案する。
提案手法は,GUIプロトタイピングおよび要件検証における手作業を大幅に削減する。
関連論文リスト
- AFRAgent : An Adaptive Feature Renormalization Based High Resolution Aware GUI agent [21.148033135113927]
インストラクトBLIPに基づくマルチモーダルアーキテクチャを導入し,GUI自動化における優れた性能を実現する。
低解像度画像埋め込みを効果的に強化する適応的特徴正規化(トークンレベルのアフィン変換)手法を提案する。
我々はAFRAgentをMeta-GUIおよびAITWベンチマークで評価し、スマートフォン自動化のための新しい最先端のベースラインを確立する。
論文 参考訳（メタデータ） (2025-11-30T11:32:54Z) - GUISpector: An MLLM Agent Framework for Automated Verification of Natural Language Requirements in GUI Prototypes [58.197090145723735]
本稿では,GUIプロトタイプにおけるNL要求の自動検証にマルチモーダル(M)LLMエージェントを利用する新しいフレームワークを提案する。
GuiSpectorはエージェントの検証プロセスから詳細なNLフィードバックを抽出し、開発者に実行可能な洞察を提供する。
本稿では,これらの機能を統合化し,検証実行の監視,エージェントの合理性検査,エンドツーエンドの要件検証プロセスの管理を行うインターフェースを提供する。
論文 参考訳（メタデータ） (2025-10-06T13:15:24Z) - AgentCPM-GUI: Building Mobile-Use Agents with Reinforcement Fine-Tuning [82.42421823672954]
AgentCPM-GUIは、堅牢で効率的なオンデバイスGUIインタラクションのために構築されている。
私たちのトレーニングパイプラインには、知覚を高めるためのグラウンドアウェア事前トレーニングが含まれています。
AgentCPM-GUIは5つの公開ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-06-02T07:30:29Z) - GUIDE: LLM-Driven GUI Generation Decomposition for Automated Prototyping [55.762798168494726]
印象的なコード生成機能を備えた大規模言語モデル(LLM)は、GUIプロトタイピングを自動化するための有望なアプローチを提供する。
しかし、現在のLLMベースのプロトタイピングソリューションと従来のユーザベースのGUIプロトタイピングアプローチの間にはギャップがある。
プロトタイピングフレームワークであるFigmaにシームレスに統合された新しいLLM駆動GUI生成分解手法であるGUIDEを提案する。
論文 参考訳（メタデータ） (2025-02-28T14:03:53Z) - Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation [53.1000575179389]
LLMに基づくGUI検索とフィルタリング機構を統合した検索型GUI生成(RAGG)手法を提案する。
また,GUI 生成に Prompt Decomposition (PDGG) と Self-Critique (SCGG) を適用した。
UI/UX経験を持つ100人以上の集団作業者の3000以上のGUIアノテーションを対象とし,SPGGはPDGGやRAGGとは対照的に,より効果的なGUI生成につながる可能性が示唆された。
論文 参考訳（メタデータ） (2024-12-15T22:17:30Z) - Self-Elicitation of Requirements with Automated GUI Prototyping [12.281152349482024]
SERGUIは、自動GUIプロトタイピングアシスタントに基づく、要求の自己適用を可能にする新しいアプローチである。
SerGUIは、NLR(Natural Language Requirements)ベースのGUI検索を通じて、大規模なGUIリポジトリに具現化された膨大なプロトタイピング知識を活用する。
提案手法の有効性を評価するため,予備評価を行った。
論文 参考訳（メタデータ） (2024-09-24T18:40:38Z) - Interlinking User Stories and GUI Prototyping: A Semi-Automatic LLM-based Approach [55.762798168494726]
グラフィカルユーザインタフェース(GUI)のプロトタイプにおいて,機能的NLベースの要求の実装を検証するための新しい言語モデル(LLM)ベースのアプローチを提案する。
提案手法は,GUIプロトタイプに実装されていない機能的ユーザストーリの検出と,要件を直接実装する適切なGUIコンポーネントのレコメンデーションを提供することを目的としている。
論文 参考訳（メタデータ） (2024-06-12T11:59:26Z) - CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。
包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。
AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-19T08:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。