論文の概要: DesignRepair: Dual-Stream Design Guideline-Aware Frontend Repair with Large Language Models

• arxiv url: http://arxiv.org/abs/2411.01606v1
• Date: Sun, 03 Nov 2024 15:25:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:50:17.952575
• Title: DesignRepair: Dual-Stream Design Guideline-Aware Frontend Repair with Large Language Models
• Title（参考訳）: DesignRepair: デュアルストリーム設計ガイドライン-大規模言語モデルによるフロントエンド修復
• Authors: Mingyue Yuan, Jieshan Chen, Zhenchang Xing, Aaron Quigley, Yuyu Luo, Gelareh Mohammadi, Qinghua Lu, Liming Zhu,
• Abstract要約: DesignRepairは、コードアスペクトとレンダリングページアスペクトの両方から設計品質の問題を調べ、修復する、新しいデュアルストリーム設計ガイドライン対応システムである。 提案手法の有効性と有効性を評価し, 設計ガイドライン, アクセシビリティ, ユーザエクスペリエンスの指標への適合性を著しく向上した。
• 参考スコア（独自算出の注目度）: 25.469369179998505
• License:
• Abstract: The rise of Large Language Models (LLMs) has streamlined frontend interface creation through tools like Vercel's V0, yet surfaced challenges in design quality (e.g., accessibility, and usability). Current solutions, often limited by their focus, generalisability, or data dependency, fall short in addressing these complexities. Moreover, none of them examine the quality of LLM-generated UI design. In this work, we introduce DesignRepair, a novel dual-stream design guideline-aware system to examine and repair the UI design quality issues from both code aspect and rendered page aspect. We utilised the mature and popular Material Design as our knowledge base to guide this process. Specifically, we first constructed a comprehensive knowledge base encoding Google's Material Design principles into low-level component knowledge base and high-level system design knowledge base. After that, DesignRepair employs a LLM for the extraction of key components and utilizes the Playwright tool for precise page analysis, aligning these with the established knowledge bases. Finally, we integrate Retrieval-Augmented Generation with state-of-the-art LLMs like GPT-4 to holistically refine and repair frontend code through a strategic divide and conquer approach. Our extensive evaluations validated the efficacy and utility of our approach, demonstrating significant enhancements in adherence to design guidelines, accessibility, and user experience metrics.
• Abstract（参考訳）: 大規模言語モデル(LLM)の台頭は、VercelのV0のようなツールを通じてフロントエンドインターフェイスの作成を合理化しているが、設計品質(例えば、アクセシビリティ、ユーザビリティ)の課題が表面化している。 現在のソリューションは、その焦点、一般化可能性、あるいはデータ依存によって制限されることが多いが、これらの複雑さに対処するには不十分である。 さらに、LLM生成UI設計の品質については、いずれも検討されていない。 本稿では,UI設計の品質問題をコードアスペクトとレンダリングページの両面から検証し,修復する,新しいデュアルストリーム設計ガイドライン認識システムであるDesignRepairを紹介する。 我々は、成熟し人気のあるマテリアルデザインを知識基盤として利用し、このプロセスを導いた。 具体的には,GoogleのMaterial Design原則を,低レベルのコンポーネント知識ベースと高レベルのシステム設計知識ベースに符号化した総合的な知識ベースを構築した。 その後、DesignRepairはキーコンポーネントの抽出にLLMを使用し、Playwrightツールを使用してページ分析を行い、これらを確立された知識ベースと整合させる。 最後に、GPT-4のような最先端のLLMとRetrieval-Augmented Generationを統合して、戦略的分割と征服アプローチを通じて、フロントエンドコードを全体像的に洗練し、修復する。 提案手法の有効性と有効性を検証し,設計ガイドライン,アクセシビリティ,ユーザエクスペリエンス指標への準拠性を大幅に向上させた。

関連論文リスト

• A Single Transformer for Scalable Vision-Language Modeling [74.05173379908703]
  我々はvisiOn-Language mOdelingのための単一変換器SOLOを提案する。 SOLOのような統一された単一トランスフォーマーアーキテクチャは、LVLMにおけるこれらのスケーラビリティ上の懸念に効果的に対処する。 本稿では,オープンソースの7B LVLMであるSOLOの開発のための,最初のオープンソーストレーニングレシピを紹介する。
  論文  参考訳（メタデータ） (2024-07-08T22:40:15Z)
• DesignProbe: A Graphic Design Benchmark for Multimodal Large Language Models [35.10231741092462]
  精巧なグラフィックデザインは、きめ細かいデザイン要素(色、フォント、レイアウト)から全体的なデザインまで、2段階の調和を実現するのが一般的である。 MLLM(Multimodal Large Language Models)の急速な開発に伴い,設計におけるMLLMの能力を調べるためのベンチマークであるDesignProbeを確立する。
  論文  参考訳（メタデータ） (2024-04-23T07:31:19Z)
• I-Design: Personalized LLM Interior Designer [57.00412237555167]
  I-Designはパーソナライズされたインテリアデザイナで、自然言語によるコミュニケーションを通じて設計目標の生成と視覚化を可能にする。 I-Designは、対話や論理的推論に従事する大きな言語モデルエージェントのチームから始まる。 最終的な設計は、既存のオブジェクトデータベースから資産を取り出し、統合することで、3Dで構築されます。
  論文  参考訳（メタデータ） (2024-04-03T16:17:53Z)
• From Concept to Manufacturing: Evaluating Vision-Language Models for Engineering Design [5.268919870502001]
  本稿では,視覚言語モデル(VLM)を工学設計タスクの範囲で総合的に評価する。 本稿では, スケッチ類似性解析, CAD生成, トポロジ最適化, 製造性評価, 工学教科書問題などの設計課題における2つのVLM, GPT-4V, LLaVA 1.6 34Bの性能評価を行う。
  論文  参考訳（メタデータ） (2023-11-21T15:20:48Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• LayoutNUWA: Revealing the Hidden Layout Expertise of Large Language Models [84.16541551923221]
  本稿では,レイアウト生成をコード生成タスクとして扱うモデルを提案する。 3つの相互接続モジュールからなるCode Instruct Tuning (CIT) アプローチを開発した。 複数のデータセット上で、最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-09-18T06:35:10Z)
• CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
  我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。 我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。 CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
  論文  参考訳（メタデータ） (2023-05-31T05:24:48Z)
• Conceptual Design Generation Using Large Language Models [0.34998703934432673]
  大規模言語モデル(LLM)は、テキストプロンプトから一見創造的な出力を生成することができる。 本稿では LLM を利用して,12 個の設計問題の集合に対するソリューションを生成し,それらをクラウドソーシングされたソリューションのベースラインと比較する。 専門家による評価から, LLM生成ソリューションは平均実現可能性と有用性が高いことが示唆された。 我々は、素早いエンジニアリングで実験を行い、数発の学習を利用することで、クラウドソースのソリューションとよりよく似たソリューションを生み出すことができることを発見した。
  論文  参考訳（メタデータ） (2023-05-30T19:32:39Z)
• LayoutDETR: Detection Transformer Is a Good Multimodal Layout Designer [80.61492265221817]
  グラフィックレイアウトデザインは視覚コミュニケーションにおいて重要な役割を担っている。 しかし、手作りのレイアウトデザインは、スキルを要求し、時間がかかり、バッチプロダクションではスケールできない。 ジェネレーティブモデルは、設計自動化をスケーラブルにするために出現するが、デザイナの欲求に沿うデザインを作成することは、未だに容易ではない。
  論文  参考訳（メタデータ） (2022-12-19T21:57:35Z)
• Designing Machine Learning Toolboxes: Concepts, Principles and Patterns [0.0]
  AIモデリングツールボックスの設計における重要なパターンについて概説する。 我々の分析では、既存のツールボックスの設計だけでなく、新しいツールボックスの開発も説明できます。
  論文  参考訳（メタデータ） (2021-01-13T08:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。