論文の概要: UIClip: A Data-driven Model for Assessing User Interface Design

• arxiv url: http://arxiv.org/abs/2404.12500v1
• Date: Thu, 18 Apr 2024 20:43:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 18:27:13.948193
• Title: UIClip: A Data-driven Model for Assessing User Interface Design
• Title（参考訳）: UIClip: ユーザインターフェース設計を評価するデータ駆動モデル
• Authors: Jason Wu, Yi-Hao Peng, Amanda Li, Amanda Swearngin, Jeffrey P. Bigham, Jeffrey Nichols,
• Abstract要約: ユーザインタフェースの設計品質と視覚的関連性を評価するための機械学習モデルUIClipを開発した。 UIClipがUI設計品質の即時評価に依存するダウンストリームアプリケーションをどのように促進するかを示す。
• 参考スコア（独自算出の注目度）: 20.66914084220734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User interface (UI) design is a difficult yet important task for ensuring the usability, accessibility, and aesthetic qualities of applications. In our paper, we develop a machine-learned model, UIClip, for assessing the design quality and visual relevance of a UI given its screenshot and natural language description. To train UIClip, we used a combination of automated crawling, synthetic augmentation, and human ratings to construct a large-scale dataset of UIs, collated by description and ranked by design quality. Through training on the dataset, UIClip implicitly learns properties of good and bad designs by i) assigning a numerical score that represents a UI design's relevance and quality and ii) providing design suggestions. In an evaluation that compared the outputs of UIClip and other baselines to UIs rated by 12 human designers, we found that UIClip achieved the highest agreement with ground-truth rankings. Finally, we present three example applications that demonstrate how UIClip can facilitate downstream applications that rely on instantaneous assessment of UI design quality: i) UI code generation, ii) UI design tips generation, and iii) quality-aware UI example search.
• Abstract（参考訳）: ユーザインターフェース(UI)設計は、アプリケーションのユーザビリティ、アクセシビリティ、美的品質を保証するため、難しいが重要なタスクである。 本稿では,UIの設計品質と視覚的関連性を評価するためのマシン学習モデル,UIClipを開発した。 UIClipをトレーニングするために、自動クロール、合成拡張、人格評価の組み合わせを使用して、UIの大規模なデータセットを構築し、記述によって照合し、設計品質でランク付けしました。 データセットのトレーニングを通じて、UIClipは、良いデザインと悪いデザインの特性を暗黙的に学習する。 一 UI 設計の関連性及び品質を表す数値スコアを割り当てて 二 設計提案の提供 UIClipや他のベースラインのアウトプットを、12人のデザイナーが評価したUIと比較した結果、UIClipが基幹製品ランキングと最高の合意に達したことが判明した。 最後に、UI設計品質の即時評価に依存するダウンストリームアプリケーションをどのように促進できるかを示す3つの例を示す。 i) UIコード生成 二 UIデザインチップの生成及び 三 品質に配慮したUIの例検索

関連論文リスト

• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• AutoGameUI: Constructing High-Fidelity Game UIs via Multimodal Learning and Interactive Web-Based Tool [21.639682821138663]
  本稿では,ゲーム開発において協調的なユーザインタフェースを効率的に構築するための革新的システムであるAutoGameUIを紹介する。 UIとUXの両方の設計を包括的に表現する2段階のマルチモーダル学習パイプラインを提案する。 対応を通して、結合性のあるユーザインタフェースがペア設計から自動的に構築される。
  論文  参考訳（メタデータ） (2024-11-06T07:16:54Z)
• UICrit: Enhancing Automated Design Evaluation with a UICritique Dataset [10.427243347670965]
  983のモバイルUIに対して,設計批判と品質評価をターゲットとしたデータセットを提示する。 LLM生成UIフィードバックにおける55%のパフォーマンス向上を実現するために,このデータセットを適用した。 生成UI技術に対する報酬モデルのトレーニングを含む,このデータセットの今後の応用について論じる。
  論文  参考訳（メタデータ） (2024-07-11T20:18:19Z)
• Tell Me What's Next: Textual Foresight for Generic UI Representations [65.10591722192609]
  We propose Textual Foresight, a novel pretraining objective for learn UI screen representations。 Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。 新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。
  論文  参考訳（メタデータ） (2024-06-12T02:43:19Z)
• I-Design: Personalized LLM Interior Designer [57.00412237555167]
  I-Designはパーソナライズされたインテリアデザイナで、自然言語によるコミュニケーションを通じて設計目標の生成と視覚化を可能にする。 I-Designは、対話や論理的推論に従事する大きな言語モデルエージェントのチームから始まる。 最終的な設計は、既存のオブジェクトデータベースから資産を取り出し、統合することで、3Dで構築されます。
  論文  参考訳（メタデータ） (2024-04-03T16:17:53Z)
• ILuvUI: Instruction-tuned LangUage-Vision modeling of UIs from Machine Conversations [13.939350184164017]
  VLM(Multimodal Vision-Language Models)は、画像と言語を融合した理解から強力なアプリケーションを可能にする。 既存のピクセルベース手法とLarge Language Model(LLM)を組み合わせることで、VLMのペアテキストイメージトレーニングデータを生成するためのレシピをUIドメインに適用する。 我々は、Q&A、UI記述、計画をカバーするUIと組み合わせた335Kの会話例のデータセットを生成し、UIタスクのための会話VLMを微調整するためにそれを使用します。
  論文  参考訳（メタデータ） (2023-10-07T16:32:34Z)
• Knowledge-Aware Prompt Tuning for Generalizable Vision-Language Models [64.24227572048075]
  本稿では,視覚言語モデルのためのKnowledge-Aware Prompt Tuning(KAPT)フレームワークを提案する。 我々のアプローチは、人間の知性からインスピレーションを得ており、外部知識は、通常、オブジェクトの新たなカテゴリを認識するために組み込まれています。
  論文  参考訳（メタデータ） (2023-08-22T04:24:45Z)
• UIBert: Learning Generic Multimodal Representations for UI Understanding [12.931540149350633]
  大規模な未ラベルUIデータに対する新しい事前学習タスクによって訓練されたトランスフォーマーベースの共同画像テキストモデルを提案する。 私たちの重要な直感は、UIの異種機能は自己整合である、つまり、UIコンポーネントのイメージとテキスト機能は、相互に予測可能である、ということです。 この自己アライメントを利用した5つの事前学習タスクを提案する。 UIBertは、最大9.26%の精度で強力なマルチモーダルベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-07-29T03:51:36Z)
• VINS: Visual Search for Mobile User Interface Design [66.28088601689069]
  本稿では、UIイメージを入力として、視覚的に類似したデザイン例を検索するビジュアル検索フレームワークVINSを紹介する。 このフレームワークは、平均平均精度76.39%のUI検出を実現し、類似したUI設計をクエリする際の高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-02-10T01:46:33Z)
• User-Guided Domain Adaptation for Rapid Annotation from User Interactions: A Study on Pathological Liver Segmentation [49.96706092808873]
  マスクベースの医用画像のアノテーション、特に3Dデータは、信頼できる機械学習モデルを開発する上でボトルネックとなる。 ユーザガイド付きドメイン適応(UGDA)フレームワークを提案する。このフレームワークは,UIとマスクの複合分布をモデル化するために,予測に基づくドメイン適応(PADA)を利用する。 UGDAは、利用可能なUIのごく一部しか見ていない場合でも、最先端のパフォーマンスを維持することができる。
  論文  参考訳（メタデータ） (2020-09-05T04:24:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。