論文の概要: From PowerPoint UI Sketches to Web-Based Applications: Pattern-Driven Code Generation for GIS Dashboard Development Using Knowledge-Augmented LLMs, Context-Aware Visual Prompting, and the React Framework

• arxiv url: http://arxiv.org/abs/2502.08756v1
• Date: Wed, 12 Feb 2025 19:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:45.945546
• Title: From PowerPoint UI Sketches to Web-Based Applications: Pattern-Driven Code Generation for GIS Dashboard Development Using Knowledge-Augmented LLMs, Context-Aware Visual Prompting, and the React Framework
• Title（参考訳）: PowerPoint UI ケッチから Web ベースのアプリケーション: 知識強化 LLM を用いた GIS ダッシュボード開発のためのパターン駆動コード生成、コンテキスト認識型ビジュアルプロンプト、React フレームワーク
• Authors: Haowen Xu, Xiao-Ying Yu,
• Abstract要約: 本稿では,複雑なGISアプリケーションのための知識拡張型コード生成フレームワークを提案する。 このフレームワークは、専門知識ベースから、ソフトウェアエンジニアリングのベストプラクティス、ドメイン、および高度な技術スタックを取得する。
• 参考スコア（独自算出の注目度）: 1.4367082420201918
• License:
• Abstract: Developing web-based GIS applications, commonly known as CyberGIS dashboards, for querying and visualizing GIS data in environmental research often demands repetitive and resource-intensive efforts. While Generative AI offers automation potential for code generation, it struggles with complex scientific applications due to challenges in integrating domain knowledge, software engineering principles, and UI design best practices. This paper introduces a knowledge-augmented code generation framework that retrieves software engineering best practices, domain expertise, and advanced technology stacks from a specialized knowledge base to enhance Generative Pre-trained Transformers (GPT) for front-end development. The framework automates the creation of GIS-based web applications (e.g., dashboards, interfaces) from user-defined UI wireframes sketched in tools like PowerPoint or Adobe Illustrator. A novel Context-Aware Visual Prompting method, implemented in Python, extracts layouts and interface features from these wireframes to guide code generation. Our approach leverages Large Language Models (LLMs) to generate front-end code by integrating structured reasoning, software engineering principles, and domain knowledge, drawing inspiration from Chain-of-Thought (CoT) prompting and Retrieval-Augmented Generation (RAG). A case study demonstrates the framework's capability to generate a modular, maintainable web platform hosting multiple dashboards for visualizing environmental and energy data (e.g., time-series, shapefiles, rasters) from user-sketched wireframes. By employing a knowledge-driven approach, the framework produces scalable, industry-standard front-end code using design patterns such as Model-View-ViewModel (MVVM) and frameworks like React. This significantly reduces manual effort in design and coding, pioneering an automated and efficient method for developing smart city software.
• Abstract（参考訳）: 環境研究におけるGISデータのクエリと視覚化のためのWebベースのGISアプリケーション(通称CyberGISダッシュボード)の開発は、しばしば反復的かつリソース集約的な努力を必要とする。 Generative AIはコード生成の自動化の可能性をもっているが、ドメイン知識の統合やソフトウェアエンジニアリングの原則、UI設計のベストプラクティスといった課題のために、複雑な科学的応用に苦慮している。 本稿では,ソフトウェア工学のベストプラクティス,ドメインの専門知識,高度な技術スタックを専門知識ベースから抽出し,フロントエンド開発のための生成事前学習トランスフォーマー(GPT)を強化するための知識強化コード生成フレームワークを提案する。 このフレームワークは、PowerPointやAdobe Illustratorといったツールでスケッチされたユーザ定義UIワイヤーフレームからGISベースのWebアプリケーション(ダッシュボード、インターフェースなど)の作成を自動化する。 Pythonで実装された新しいContext-Aware Visual Promptingメソッドは、これらのワイヤフレームからレイアウトとインターフェース機能を抽出し、コード生成をガイドする。 提案手法では,構造化推論,ソフトウェア工学の原理,ドメイン知識を統合したフロントエンドコードを生成するために,Large Language Models (LLMs) を利用して,Chain-of-Thought (CoT) からインスピレーションを得て,RAG(Retrieval-Augmented Generation) を生成する。 ケーススタディでは、環境およびエネルギーデータ(例えば、時系列、シェイプファイル、ラスタ)をユーザ設定のワイヤーフレームから視覚化する複数のダッシュボードをホストする、モジュラーで保守可能なWebプラットフォームを生成するフレームワークの能力を実証している。 知識駆動のアプローチを採用することで、Model-View-ViewModel(MVVM)やReactのようなフレームワークといったデザインパターンを使用して、スケーラブルで業界標準のフロントエンドコードを生成する。 これにより、設計とコーディングにおける手作業の労力を大幅に削減し、スマートシティソフトウェアを開発する自動化的で効率的な方法の先駆けとなる。

関連論文リスト

• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  自律型GUIエージェントのための統合視覚ベースのフレームワークであるAguvisを紹介する。 提案手法は,画像に基づく観察と,自然言語の接地命令を視覚要素に活用する。 これまでの作業の限界に対処するため、モデル内に明確な計画と推論を統合する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• Generating a Low-code Complete Workflow via Task Decomposition and RAG [0.040964539027092926]
  GenAIベースのシステムは、そのスケールと汎用性のために設計が難しい。 我々は、GenAIベースのシステムの設計パターンとして、タスク分解と検索拡張生成の2つのテクニックを定式化した。 これらの2つのパターンがAI開発サイクル全体に影響を与えるため、データセットの生成、モデルトレーニング、モデル評価、デプロイメントフェーズにどのように影響したかを説明します。
  論文  参考訳（メタデータ） (2024-11-29T20:13:56Z)
• Large Language Model-Brained GUI Agents: A Survey [42.82362907348966]
  マルチモーダルモデルはGUI自動化の新しい時代を支えてきた。 彼らは自然言語理解、コード生成、視覚処理において例外的な能力を示した。 これらのエージェントはパラダイムシフトを表しており、ユーザーは単純な会話コマンドで複雑なマルチステップタスクを実行できる。
  論文  参考訳（メタデータ） (2024-11-27T12:13:39Z)
• OS-ATLAS: A Foundation Action Model for Generalist GUI Agents [55.37173845836839]
  OS-AtlasはGUIグラウンディングとOODエージェントタスクに優れた基礎的なGUIアクションモデルである。 現在までに1300万以上のGUI要素を含む、オープンソースのクロスプラットフォームGUI基盤コーパスをリリースしています。
  論文  参考訳（メタデータ） (2024-10-30T17:10:19Z)
• EDGE: Enhanced Grounded GUI Understanding with Enriched Multi-Granularity Synthetic Data [15.801018643716437]
  本稿では,大規模視覚言語モデル(LVLM)のGUI理解と対話能力を,データ駆動型アプローチにより向上することを目的とする。 本稿では,Web上のWebページから大規模で粒度の高いトレーニングデータを自動的に生成する汎用データ合成フレームワークEDGEを提案する。 提案手法は,手動アノテーションへの依存を著しく低減し,研究者がWeb上で利用可能な膨大な公開リソースを活用して作業を進めることを可能にする。
  論文  参考訳（メタデータ） (2024-10-25T10:46:17Z)
• Developing Retrieval Augmented Generation (RAG) based LLM Systems from PDFs: An Experience Report [3.4632900249241874]
  本稿では,PDF文書を主データ源とする検索拡張生成システム(RAG)の開発経験報告について述べる。 RAGアーキテクチャは、Large Language Models (LLM) の生成能力と情報検索の精度を組み合わせたものである。 この研究の実際的な意味は、様々な分野における生成AIシステムの信頼性を高めることである。
  論文  参考訳（メタデータ） (2024-10-21T12:21:49Z)
• RepoGraph: Enhancing AI Software Engineering with Repository-level Code Graph [63.87660059104077]
  RepoGraphは、現代のAIソフトウェアエンジニアリングソリューションのためのリポジトリレベルの構造を管理するプラグインモジュールである。 RepoGraphはすべてのシステムのパフォーマンスを大幅に向上させ、オープンソースフレームワークの間で新たな最先端技術を生み出している。
  論文  参考訳（メタデータ） (2024-10-03T05:45:26Z)
• SoTaNa: The Open-Source Software Development Assistant [81.86136560157266]
  SoTaNaはオープンソースのソフトウェア開発アシスタントだ。 ソフトウェア工学の分野のための高品質な命令ベースのデータを生成する。 オープンソースの基盤モデルであるLLaMAを強化するためにパラメータ効率のよい微調整アプローチを採用している。
  論文  参考訳（メタデータ） (2023-08-25T14:56:21Z)
• SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative AI Tool [0.14777718769290524]
  大規模言語モデル(LLM)ベースの生成AIシステムは,近年,大きな進歩を遂げている。 知識検索アーキテクチャを統合することで、プライベートデータの公開可能な生成AIシステムへのシームレスな統合が可能になる。 Retrieval-Centric Generation (RCG)アプローチは、文脈解釈と知識記憶におけるLLMとレトリバーの役割を分離する。 SimplyRetrieveは、これらの高度な進歩に対して、ローカライズされ、軽量で、ユーザフレンドリーなインターフェースを提供することを目標とする、オープンソースのツールである。
  論文  参考訳（メタデータ） (2023-08-08T02:00:43Z)
• CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
  我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。 我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。 CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
  論文  参考訳（メタデータ） (2023-05-31T05:24:48Z)
• OG-SGG: Ontology-Guided Scene Graph Generation. A Case Study in Transfer Learning for Telepresence Robotics [124.08684545010664]
  画像からのシーングラフ生成は、ロボット工学のようなアプリケーションに非常に関心を持つタスクである。 オントロジー誘導シーングラフ生成(OG-SGG)と呼ばれるフレームワークの初期近似を提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:23:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。