論文の概要: Tell Me What's Next: Textual Foresight for Generic UI Representations

• arxiv url: http://arxiv.org/abs/2406.07822v1
• Date: Wed, 12 Jun 2024 02:43:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 20:36:36.907135
• Title: Tell Me What's Next: Textual Foresight for Generic UI Representations
• Title（参考訳）: ジェネリックUI表現のためのテキストの展望
• Authors: Andrea Burns, Kate Saenko, Bryan A. Plummer,
• Abstract要約: We propose Textual Foresight, a novel pretraining objective for learn UI screen representations。 Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。 新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。
• 参考スコア（独自算出の注目度）: 65.10591722192609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mobile app user interfaces (UIs) are rich with action, text, structure, and image content that can be utilized to learn generic UI representations for tasks like automating user commands, summarizing content, and evaluating the accessibility of user interfaces. Prior work has learned strong visual representations with local or global captioning losses, but fails to retain both granularities. To combat this, we propose Textual Foresight, a novel pretraining objective for learning UI screen representations. Textual Foresight generates global text descriptions of future UI states given a current UI and local action taken. Our approach requires joint reasoning over elements and entire screens, resulting in improved UI features: on generation tasks, UI agents trained with Textual Foresight outperform state-of-the-art by 2% with 28x fewer images. We train with our newly constructed mobile app dataset, OpenApp, which results in the first public dataset for app UI representation learning. OpenApp enables new baselines, and we find Textual Foresight improves average task performance over them by 5.7% while having access to 2x less data.
• Abstract（参考訳）: モバイルアプリのユーザインターフェース(UI)にはアクションやテキスト,構造,イメージの内容が豊富で,ユーザコマンドの自動化やコンテンツの要約,ユーザインターフェースのアクセシビリティ評価など,一般的なUI表現の学習に使用することができる。 以前の研究は、局所的またはグローバルなキャプション損失を伴う強力な視覚的表現を学習してきたが、粒度の保持には失敗した。 これに対抗するために,UI画面表現を学習するための新しい事前学習目標であるTextual Foresightを提案する。 Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。 生成タスクでは、Textual ForesightでトレーニングされたUIエージェントが、28倍のイメージで2%以上のパフォーマンスを実現しています。 新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。 OpenAppは新たなベースラインを可能にし、Textual Foresightは2倍少ないデータにアクセスしながら、平均タスクパフォーマンスを5.7%改善する。

関連論文リスト

• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• Harnessing Webpage UIs for Text-Rich Visual Understanding [112.01029887404296]
  テキストベース大規模言語モデル(LLM)を用いたWebページUIからの汎用マルチモーダル命令の合成を提案する。 これらの命令はUIスクリーンショットと組み合わせて、マルチモーダルモデルのトレーニングを行う。 我々は、100万のWebサイトから730万のサンプルを含むデータセットであるMultiUIを紹介し、多様なマルチモーダルタスクとUIレイアウトをカバーした。
  論文  参考訳（メタデータ） (2024-10-17T17:48:54Z)
• UI Semantic Group Detection: Grouping UI Elements with Similar Semantics in Mobile Graphical User Interface [10.80156450091773]
  UI要素のグループ化に関する既存の研究は、主に単一のUI関連ソフトウェアエンジニアリングタスクに焦点を当てており、そのグループは外観と機能が異なる。 類似のセマンティクスで隣接したテキストと非テキスト要素をパックするセマンティクスコンポーネントグループを提案する。 UIページ上のセマンティックコンポーネント群を認識するために,我々は,堅牢で深層学習に基づく視覚検出システムであるUISCGDを提案する。
  論文  参考訳（メタデータ） (2024-03-08T01:52:44Z)
• ILuvUI: Instruction-tuned LangUage-Vision modeling of UIs from Machine Conversations [13.939350184164017]
  VLM(Multimodal Vision-Language Models)は、画像と言語を融合した理解から強力なアプリケーションを可能にする。 既存のピクセルベース手法とLarge Language Model(LLM)を組み合わせることで、VLMのペアテキストイメージトレーニングデータを生成するためのレシピをUIドメインに適用する。 我々は、Q&A、UI記述、計画をカバーするUIと組み合わせた335Kの会話例のデータセットを生成し、UIタスクのための会話VLMを微調整するためにそれを使用します。
  論文  参考訳（メタデータ） (2023-10-07T16:32:34Z)
• Lexi: Self-Supervised Learning of the UI Language [26.798257611852712]
  人間は、インストラクションマニュアルやハウツーガイドを読むことで、アプリケーションのユーザーインターフェイス(UI)を操作できることを学ぶことができる。 このデータを利用してUI画面とそのコンポーネントの汎用的な視覚言語表現を学ぶ方法について検討する。 テキストの豊かさやコンテキスト感度など,UI画面のユニークな特徴を扱うために設計された,事前学習された視覚と言語モデルであるLexiを提案する。
  論文  参考訳（メタデータ） (2023-01-23T09:05:49Z)
• Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding [58.70423899829642]
  Pix2Structは、純粋に視覚的な言語理解のための事前訓練された画像-テキストモデルである。 4つの領域にまたがる9つのタスクのうち6つのタスクにおいて、1つの事前訓練されたモデルが最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-07T06:42:06Z)
• UIBert: Learning Generic Multimodal Representations for UI Understanding [12.931540149350633]
  大規模な未ラベルUIデータに対する新しい事前学習タスクによって訓練されたトランスフォーマーベースの共同画像テキストモデルを提案する。 私たちの重要な直感は、UIの異種機能は自己整合である、つまり、UIコンポーネントのイメージとテキスト機能は、相互に予測可能である、ということです。 この自己アライメントを利用した5つの事前学習タスクを提案する。 UIBertは、最大9.26%の精度で強力なマルチモーダルベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-07-29T03:51:36Z)
• Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision [57.031588264841]
  高価なフィルタリングや後処理のステップを使わずに得られる10億以上の画像アルトテキストペアのノイズの多いデータセットを活用します。 単純なデュアルエンコーダアーキテクチャは、画像とテキストペアの視覚的および言語的表現を、対照的な損失を使って整列させることを学ぶ。 コーパスのスケールはノイズを補うことができ、そのような単純な学習方式であっても最先端の表現に繋がることを示す。
  論文  参考訳（メタデータ） (2021-02-11T10:08:12Z)
• VINS: Visual Search for Mobile User Interface Design [66.28088601689069]
  本稿では、UIイメージを入力として、視覚的に類似したデザイン例を検索するビジュアル検索フレームワークVINSを紹介する。 このフレームワークは、平均平均精度76.39%のUI検出を実現し、類似したUI設計をクエリする際の高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-02-10T01:46:33Z)
• ActionBert: Leveraging User Actions for Semantic Understanding of User Interfaces [12.52699475631247]
  ActionBertと呼ばれる新しいトレーニング済みのUI表現モデルを紹介します。 本手法は,ユーザインタラクショントレースにおける視覚的,言語的,ドメイン特有の特徴を活用し,uiとそのコンポーネントの汎用的な特徴表現を事前学習するように設計されている。 実験により、提案するactionbertモデルは、下流タスク全体のマルチモーダルベースラインを最大15.5%上回ることがわかった。
  論文  参考訳（メタデータ） (2020-12-22T20:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。