論文の概要: Creating User Interface Mock-ups from High-Level Text Descriptions with Deep-Learning Models

• arxiv url: http://arxiv.org/abs/2110.07775v1
• Date: Thu, 14 Oct 2021 23:48:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-18 13:20:00.013072
• Title: Creating User Interface Mock-ups from High-Level Text Descriptions with Deep-Learning Models
• Title（参考訳）: ディープラーニングモデルを用いた高レベルテキスト記述によるユーザインタフェースモックアップの作成
• Authors: Forrest Huang, Gang Li, Xin Zhou, John F. Canny, Yang Li
• Abstract要約: 自然言語句から低忠実度UIモックアップを作成するための3つのディープラーニング技術を紹介する。 一貫性のある多種多様なUI設計モックアップを提案する各手法の能力を定量的に、質的に比較し、対比する。
• 参考スコア（独自算出の注目度）: 19.63933191791183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The design process of user interfaces (UIs) often begins with articulating high-level design goals. Translating these high-level design goals into concrete design mock-ups, however, requires extensive effort and UI design expertise. To facilitate this process for app designers and developers, we introduce three deep-learning techniques to create low-fidelity UI mock-ups from a natural language phrase that describes the high-level design goal (e.g. "pop up displaying an image and other options"). In particular, we contribute two retrieval-based methods and one generative method, as well as pre-processing and post-processing techniques to ensure the quality of the created UI mock-ups. We quantitatively and qualitatively compare and contrast each method's ability in suggesting coherent, diverse and relevant UI design mock-ups. We further evaluate these methods with 15 professional UI designers and practitioners to understand each method's advantages and disadvantages. The designers responded positively to the potential of these methods for assisting the design process.
• Abstract（参考訳）: ユーザインタフェース(ui)の設計プロセスは、しばしばハイレベルな設計目標を明確にすることから始まる。 しかし、これらのハイレベルな設計目標を具体的な設計モックアップに変換するには、多大な労力とui設計の専門知識が必要です。 このプロセスを容易にするために、我々は3つのディープラーニング技術を導入し、高レベルの設計目標(例えば「画像などの表示をポップアップする」など)を記述する自然言語句から、低忠実度UIモックアップを作成する。 特に,2つの検索ベース手法と1つの生成手法,および生成したuiモックアップの品質を確保するための前処理と後処理技術を提案する。 各メソッドのコヒーレントで多様で関連するui設計モックアップを提案する能力を定量的に、質的に比較して比較する。 さらに,各手法の長所と短所を理解するために,15名のプロのui設計者および実践者を用いて評価を行った。 設計者は設計プロセスを支援するこれらの手法の可能性に肯定的に反応した。

関連論文リスト

• A Framework for LLM-powered Design Assistants [0.0]
  大規模言語モデル(LLM)は、人間の言語に似たテキストを分析し、生成するために設計されたAIシステムである。 本研究では,設計プロセスにおける3つの重要なモダリティ,理想探索,設計者との対話,設計評価に焦点を当て,LLMをデザインアシスタントとして採用するフレームワークを紹介する。
  論文  参考訳（メタデータ） (2025-02-11T16:51:11Z)
• Visual Prompting with Iterative Refinement for Design Critique Generation [7.666790719374632]
  UI批判に対する反復的視覚的プロンプト手法を提案する。 スクリーンショット内の各コメントを特定の領域にマップする、対応するバウンディングボックスとともに、デザインコメントのリストを生成する。 Gemini-1.5-pro と GPT-4o を用いて提案手法の評価を行ったところ,人間の専門家はパイプラインが生み出す設計批判を概ね好んでいることがわかった。
  論文  参考訳（メタデータ） (2024-12-22T02:35:57Z)
• GLDesigner: Leveraging Multi-Modal LLMs as Designer for Enhanced Aesthetic Text Glyph Layouts [53.568057283934714]
  コンテンツ対応のテキストロゴレイアウトを生成するVLMベースのフレームワークを提案する。 本稿では,複数のグリフ画像の同時処理における計算量を削減するための2つのモデル手法を提案する。 アウトモデルのインストラクションチューニングを支援するために,既存の公開データセットよりも5倍大きい2つの拡張テキストロゴデータセットを構築した。
  論文  参考訳（メタデータ） (2024-11-18T10:04:10Z)
• MetaDesigner: Advancing Artistic Typography Through AI-Driven, User-Centric, and Multilingual WordArt Synthesis [65.78359025027457]
  MetaDesignerがLarge Language Models(LLM)を利用したアートタイポグラフィーのための変換フレームワークを導入 その基盤は、Pipeline、Glyph、Textureエージェントで構成されるマルチエージェントシステムであり、カスタマイズ可能なWordArtの作成をまとめてオーケストレーションしている。
  論文  参考訳（メタデータ） (2024-06-28T11:58:26Z)
• PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM [58.67882997399021]
  本研究では,グラフィックレイアウトの自動生成のための統合フレームワークを提案する。 データ駆動方式では、レイアウトを生成するために構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを用いる。 我々は,ユーザのデザイン意図に基づいて編集可能なポスターを生成する自動テキスト投稿システムを開発した。
  論文  参考訳（メタデータ） (2024-06-05T03:05:52Z)
• Automatic Layout Planning for Visually-Rich Documents with Instruction-Following Models [81.6240188672294]
  グラフィックデザインでは、プロでないユーザは、限られたスキルとリソースのために視覚的に魅力的なレイアウトを作成するのに苦労することが多い。 レイアウト計画のための新しいマルチモーダル・インストラクション・フォロー・フレームワークを導入し、視覚的要素をカスタマイズしたレイアウトに簡単に配置できるようにする。 本手法は,非専門職の設計プロセスを単純化するだけでなく,数ショット GPT-4V モデルの性能を上回り,mIoU は Crello で 12% 向上する。
  論文  参考訳（メタデータ） (2024-04-23T17:58:33Z)
• UIClip: A Data-driven Model for Assessing User Interface Design [20.66914084220734]
  ユーザインタフェースの設計品質と視覚的関連性を評価するための機械学習モデルUIClipを開発した。 UIClipがUI設計品質の即時評価に依存するダウンストリームアプリケーションをどのように促進するかを示す。
  論文  参考訳（メタデータ） (2024-04-18T20:43:08Z)
• I-Design: Personalized LLM Interior Designer [57.00412237555167]
  I-Designはパーソナライズされたインテリアデザイナで、自然言語によるコミュニケーションを通じて設計目標の生成と視覚化を可能にする。 I-Designは、対話や論理的推論に従事する大きな言語モデルエージェントのチームから始まる。 最終的な設計は、既存のオブジェクトデータベースから資産を取り出し、統合することで、3Dで構築されます。
  論文  参考訳（メタデータ） (2024-04-03T16:17:53Z)
• EGFE: End-to-end Grouping of Fragmented Elements in UI Designs with Multimodal Learning [10.885275494978478]
  断片化された要素をグループ化することで、生成されたコードの可読性と保守性を大幅に向上させることができる。 現在の手法では、フラグメントされた要素をグループ化する手作りのルールを導入する2段階の戦略を採用している。 UIシークエンス予測によるエンドツーエンドのグルーピングフラグメンテッド要素の自動生成手法EGFEを提案する。
  論文  参考訳（メタデータ） (2023-09-18T15:28:12Z)
• Evaluation of Sketch-Based and Semantic-Based Modalities for Mockup Generation [15.838427479984926]
  デザインモックアップ(Design mockup)は、デザインのアイデアを視覚化し、テストするために欠かせない道具である。 手描きスケッチに基づいてモックアップを生成するための2つの異なるモックアップを提示・評価する。 その結果,スケッチベースの生成の方が直感的かつ表現的であり,セマンティックベースの生成AIは質と忠実度でより良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-03-22T16:47:36Z)
• Investigating Positive and Negative Qualities of Human-in-the-Loop Optimization for Designing Interaction Techniques [55.492211642128446]
  設計者は、与えられた目的の集合を最大化する設計パラメータの組み合わせを見つけるよう求められる設計最適化タスクに苦労すると言われている。 モデルベースの計算設計アルゴリズムは、設計中に設計例を生成することでデザイナを支援する。 一方、補助のためのブラックボックスメソッドは、あらゆる設計問題に対処できる。
  論文  参考訳（メタデータ） (2022-04-15T20:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。