Fugu-MT 論文翻訳(概要): On AI-Inspired UI-Design

論文の概要: On AI-Inspired UI-Design

arxiv url: http://arxiv.org/abs/2406.13631v1
Date: Wed, 19 Jun 2024 15:28:21 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 19:14:23.508672
Title: On AI-Inspired UI-Design
Title（参考訳）: AIにインスパイアされたUI設計について
Authors: Jialiang Wei, Anne-Lise Courbis, Thomas Lambolais, Gérard Dray, Walid Maalej,
Abstract要約: アプリデザイナがモバイルアプリのより優れた、より多様な、創造的なUIを作成するのをサポートするために、AI(Artificial Intelligence)を使用する方法に関する3つの主要な補完的なアプローチについて議論する。まず、デザイナーはGPTのようなLarge Language Model(LLM)に1つまたは複数のUIを直接生成、調整するよう促すことができる。第2に、VLM(Vision-Language Model)により、デザイナは、アプリストアに公開されたアプリから、大規模なスクリーンショットデータセットを効率的に検索することができる。第3に、ディフュージョンモデル(DM)は、インスピレーションのあるイメージとしてアプリUIを生成するように設計されている。
参考スコア（独自算出の注目度）: 5.969881132928718
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graphical User Interface (or simply UI) is a primary mean of interaction between users and their device. In this paper, we discuss three major complementary approaches on how to use Artificial Intelligence (AI) to support app designers create better, more diverse, and creative UI of mobile apps. First, designers can prompt a Large Language Model (LLM) like GPT to directly generate and adjust one or multiple UIs. Second, a Vision-Language Model (VLM) enables designers to effectively search a large screenshot dataset, e.g. from apps published in app stores. The third approach is to train a Diffusion Model (DM) specifically designed to generate app UIs as inspirational images. We discuss how AI should be used, in general, to inspire and assist creative app design rather than automating it.
Abstract（参考訳）: グラフィカルユーザインタフェース(あるいは単にUI)は、ユーザとデバイス間のインタラクションの主要な手段である。本稿では、アプリデザイナがモバイルアプリのより優れた、より多様な、創造的なUIを作成するのを支援するために、AI(Artificial Intelligence)を使用する方法に関する3つの主要な補完的アプローチについて論じる。まず、デザイナーはGPTのようなLarge Language Model(LLM)に1つまたは複数のUIを直接生成、調整するよう促すことができる。第2に、VLM(Vision-Language Model)によって、デザイナは、アプリストアに公開されたアプリから、大規模なスクリーンショットデータセットを効率的に検索することができる。第3のアプローチは、インスピレーションのあるイメージとしてアプリUIを生成するために特別に設計された拡散モデル(DM)をトレーニングすることです。我々は、AIを自動化するのではなく、一般的に、創造的なアプリデザインを刺激し、支援するためにどのように使うべきかについて議論する。

関連論文リスト

ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
論文参考訳（メタデータ） (2024-11-26T14:29:47Z)
Survey of User Interface Design and Interaction Techniques in Generative AI Applications [79.55963742878684]
我々は,デザイナやディベロッパの参照として使用できる,さまざまなユーザインタラクションパターンのコンペレーションを作ることを目指している。また、生成AIアプリケーションの設計についてもっと学ぼうとする人たちの参入障壁を低くしようと努力しています。
論文参考訳（メタデータ） (2024-10-28T23:10:06Z)
Sketch2Code: Evaluating Vision-Language Models for Interactive Web Design Prototyping [55.98643055756135]
初歩的なスケッチのWebページプロトタイプへの変換を自動化する上で,最先端のビジョン言語モデル(VLM)を評価するベンチマークであるSketch2Codeを紹介した。我々は、既存のVLMではSketch2Codeが困難であることを示す10の商用およびオープンソースモデルを分析した。 UI/UXの専門家によるユーザ調査では、受動的フィードバックの受信よりも、積極的に質問を行うのがかなり好まれている。
論文参考訳（メタデータ） (2024-10-21T17:39:49Z)
A Rule-Based Approach for UI Migration from Android to iOS [11.229343760409044]
既存のAndroidアプリUIからiOSへのクロスプラットフォーム移行を可能にするGUIMIGRATORと呼ばれる新しいアプローチを提案する。 GuiMIGRATORは、UIスケルトンツリーを構築するために、Android UIレイアウト、ビュー、リソースを抽出し解析する。 GuiMIGRATORは、ターゲットコードテンプレートを使用して最終的なUIコードファイルを生成し、iOS開発プラットフォームでコンパイルされ、検証される。
論文参考訳（メタデータ） (2024-09-25T06:19:54Z)
Tell Me What's Next: Textual Foresight for Generic UI Representations [65.10591722192609]
We propose Textual Foresight, a novel pretraining objective for learn UI screen representations。 Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。
論文参考訳（メタデータ） (2024-06-12T02:43:19Z)
PromptInfuser: How Tightly Coupling AI and UI Design Impacts Designers' Workflows [23.386764579779538]
設計者のAIイテレーションに,プロンプトとUIデザインの結合がどう影響するかを検討する。本研究では,ユーザがモックアップを作成できるFigmaプラグインであるPromptInfuserを開発した。 14人のデザイナによる調査では、PromptInfuserとデザイナの現在のAIプロトタイピングワークフローを比較します。
論文参考訳（メタデータ） (2023-10-24T01:04:27Z)
MiniGPT-v2: large language model as a unified interface for vision-language multi-task learning [65.60607895153692]
MiniGPT-v2は、様々な視覚言語タスクをよりよく扱うための統一インターフェースとして扱うことができるモデルである。モデルをトレーニングする際、異なるタスクに対してユニークな識別子を使うことを提案する。以上の結果から,MiniGPT-v2は多くの視覚的質問応答および視覚的接地ベンチマークにおいて高い性能を達成できた。
論文参考訳（メタデータ） (2023-10-14T03:22:07Z)
Spotlight: Mobile UI Understanding using Vision-Language Models with a Focus [9.401663915424008]
本稿では,UIのスクリーンショットと画面上の関心領域のみを入力とする視覚言語モデルを提案する。実験の結果,本モデルではいくつかのUIタスクにおいてSoTA結果が得られ,従来手法よりも優れていたことが判明した。
論文参考訳（メタデータ） (2022-09-29T16:45:43Z)
How to Prompt? Opportunities and Challenges of Zero- and Few-Shot Learning for Human-AI Interaction in Creative Applications of Generative Models [29.420160518026496]
我々は,人間-AIインタラクションの新しいパラダイムとしてプロンプトを利用するインタラクティブなクリエイティブアプリケーションのための機会と課題について論じる。本分析に基づき,プロンプトをサポートするユーザインタフェースの設計目標を4つ提案する。これらは、クリエイティブな記述のユースケースに焦点を当てた、具体的なUIデザインスケッチで説明します。
論文参考訳（メタデータ） (2022-09-03T10:16:34Z)
VINS: Visual Search for Mobile User Interface Design [66.28088601689069]
本稿では、UIイメージを入力として、視覚的に類似したデザイン例を検索するビジュアル検索フレームワークVINSを紹介する。このフレームワークは、平均平均精度76.39%のUI検出を実現し、類似したUI設計をクエリする際の高いパフォーマンスを実現している。
論文参考訳（メタデータ） (2021-02-10T01:46:33Z)
BlackBox Toolkit: Intelligent Assistance to UI Design [9.749560288448114]
人工知能(AI)によるUI設計プロセスの変更を提案する。我々は,デザイナが創造プロセスの指揮を執りながら,デザイナに対して反復的なタスクを実行できるようにすることを提案する。
論文参考訳（メタデータ） (2020-04-04T14:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。