論文の概要: Creating User Interface Mock-ups from High-Level Text Descriptions with Deep-Learning Models

• arxiv url: http://arxiv.org/abs/2110.07775v1
• Date: Thu, 14 Oct 2021 23:48:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-18 13:20:00.013072
• Title: Creating User Interface Mock-ups from High-Level Text Descriptions with Deep-Learning Models
• Title（参考訳）: ディープラーニングモデルを用いた高レベルテキスト記述によるユーザインタフェースモックアップの作成
• Authors: Forrest Huang, Gang Li, Xin Zhou, John F. Canny, Yang Li
• Abstract要約: 自然言語句から低忠実度UIモックアップを作成するための3つのディープラーニング技術を紹介する。 一貫性のある多種多様なUI設計モックアップを提案する各手法の能力を定量的に、質的に比較し、対比する。
• 参考スコア（独自算出の注目度）: 19.63933191791183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The design process of user interfaces (UIs) often begins with articulating high-level design goals. Translating these high-level design goals into concrete design mock-ups, however, requires extensive effort and UI design expertise. To facilitate this process for app designers and developers, we introduce three deep-learning techniques to create low-fidelity UI mock-ups from a natural language phrase that describes the high-level design goal (e.g. "pop up displaying an image and other options"). In particular, we contribute two retrieval-based methods and one generative method, as well as pre-processing and post-processing techniques to ensure the quality of the created UI mock-ups. We quantitatively and qualitatively compare and contrast each method's ability in suggesting coherent, diverse and relevant UI design mock-ups. We further evaluate these methods with 15 professional UI designers and practitioners to understand each method's advantages and disadvantages. The designers responded positively to the potential of these methods for assisting the design process.
• Abstract（参考訳）: ユーザインタフェース(ui)の設計プロセスは、しばしばハイレベルな設計目標を明確にすることから始まる。 しかし、これらのハイレベルな設計目標を具体的な設計モックアップに変換するには、多大な労力とui設計の専門知識が必要です。 このプロセスを容易にするために、我々は3つのディープラーニング技術を導入し、高レベルの設計目標(例えば「画像などの表示をポップアップする」など)を記述する自然言語句から、低忠実度UIモックアップを作成する。 特に,2つの検索ベース手法と1つの生成手法,および生成したuiモックアップの品質を確保するための前処理と後処理技術を提案する。 各メソッドのコヒーレントで多様で関連するui設計モックアップを提案する能力を定量的に、質的に比較して比較する。 さらに,各手法の長所と短所を理解するために,15名のプロのui設計者および実践者を用いて評価を行った。 設計者は設計プロセスを支援するこれらの手法の可能性に肯定的に反応した。

関連論文リスト

• MetaDesigner: Advancing Artistic Typography through AI-Driven, User-Centric, and Multilingual WordArt Synthesis [65.78359025027457]
  MetaDesignerは、Large Language Models(LLM)の強みを活用して、ユーザエンゲージメントを中心としたデザインパラダイムを推進することによって、芸術的なタイポグラフィに革命をもたらす。 総合的なフィードバックメカニズムは、マルチモーダルモデルとユーザ評価からの洞察を活用して、設計プロセスを反復的に洗練し、拡張する。 実証的な検証は、MetaDesignerが様々なWordArtアプリケーションに効果的に機能し、審美的に魅力的でコンテキストに敏感な結果を生み出す能力を強調している。
  論文  参考訳（メタデータ） (2024-06-28T11:58:26Z)
• PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM [58.67882997399021]
  本研究では,グラフィックレイアウトの自動生成のための統合フレームワークを提案する。 データ駆動方式では、レイアウトを生成するために構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを用いる。 我々は、大規模な実験を行い、パブリックなマルチモーダルレイアウト生成ベンチマーク上で、最先端(SOTA)性能を達成した。
  論文  参考訳（メタデータ） (2024-06-05T03:05:52Z)
• Automatic Layout Planning for Visually-Rich Documents with Instruction-Following Models [81.6240188672294]
  グラフィックデザインでは、プロでないユーザは、限られたスキルとリソースのために視覚的に魅力的なレイアウトを作成するのに苦労することが多い。 レイアウト計画のための新しいマルチモーダル・インストラクション・フォロー・フレームワークを導入し、視覚的要素をカスタマイズしたレイアウトに簡単に配置できるようにする。 本手法は,非専門職の設計プロセスを単純化するだけでなく,数ショット GPT-4V モデルの性能を上回り,mIoU は Crello で 12% 向上する。
  論文  参考訳（メタデータ） (2024-04-23T17:58:33Z)
• UIClip: A Data-driven Model for Assessing User Interface Design [20.66914084220734]
  ユーザインタフェースの設計品質と視覚的関連性を評価するための機械学習モデルUIClipを開発した。 UIClipがUI設計品質の即時評価に依存するダウンストリームアプリケーションをどのように促進するかを示す。
  論文  参考訳（メタデータ） (2024-04-18T20:43:08Z)
• I-Design: Personalized LLM Interior Designer [57.00412237555167]
  I-Designはパーソナライズされたインテリアデザイナで、自然言語によるコミュニケーションを通じて設計目標の生成と視覚化を可能にする。 I-Designは、対話や論理的推論に従事する大きな言語モデルエージェントのチームから始まる。 最終的な設計は、既存のオブジェクトデータベースから資産を取り出し、統合することで、3Dで構築されます。
  論文  参考訳（メタデータ） (2024-04-03T16:17:53Z)
• Compositional Generative Inverse Design [69.22782875567547]
  入力変数を設計して目的関数を最適化する逆設計は重要な問題である。 拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。 N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
  論文  参考訳（メタデータ） (2024-01-24T01:33:39Z)
• EGFE: End-to-end Grouping of Fragmented Elements in UI Designs with Multimodal Learning [10.885275494978478]
  断片化された要素をグループ化することで、生成されたコードの可読性と保守性を大幅に向上させることができる。 現在の手法では、フラグメントされた要素をグループ化する手作りのルールを導入する2段階の戦略を採用している。 UIシークエンス予測によるエンドツーエンドのグルーピングフラグメンテッド要素の自動生成手法EGFEを提案する。
  論文  参考訳（メタデータ） (2023-09-18T15:28:12Z)
• Evaluation of Sketch-Based and Semantic-Based Modalities for Mockup Generation [15.838427479984926]
  デザインモックアップ(Design mockup)は、デザインのアイデアを視覚化し、テストするために欠かせない道具である。 手描きスケッチに基づいてモックアップを生成するための2つの異なるモックアップを提示・評価する。 その結果,スケッチベースの生成の方が直感的かつ表現的であり,セマンティックベースの生成AIは質と忠実度でより良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-03-22T16:47:36Z)
• Investigating Positive and Negative Qualities of Human-in-the-Loop Optimization for Designing Interaction Techniques [55.492211642128446]
  設計者は、与えられた目的の集合を最大化する設計パラメータの組み合わせを見つけるよう求められる設計最適化タスクに苦労すると言われている。 モデルベースの計算設計アルゴリズムは、設計中に設計例を生成することでデザイナを支援する。 一方、補助のためのブラックボックスメソッドは、あらゆる設計問題に対処できる。
  論文  参考訳（メタデータ） (2022-04-15T20:40:43Z)
• Evaluating Mixed-Initiative Procedural Level Design Tools using a Triple-Blind Mixed-Method User Study [0.0]
  インタラクティブな進化的最適化を用いてレベルを生成するツールを,本研究のために設計した。 このツールは、手書き地図のレベルデザインパターンを特定し、その情報を使ってインタラクティブな最適化アルゴリズムを駆動する。 複雑なイニシアティブツールを使用したデザイナの経験を、完全にランダムなレベルの提案を提供するツールを与えられたデザイナと比較した厳密なユーザスタディが設計された。
  論文  参考訳（メタデータ） (2020-05-15T11:40:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。