論文の概要: Understanding Visual Saliency in Mobile User Interfaces

• arxiv url: http://arxiv.org/abs/2101.09176v1
• Date: Fri, 22 Jan 2021 15:45:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 17:17:23.147696
• Title: Understanding Visual Saliency in Mobile User Interfaces
• Title（参考訳）: モバイルユーザインタフェースにおけるビジュアル・サリエンシの理解
• Authors: Luis A. Leiva, Yunfei Xue, Avya Bansal, Hamed R. Tavakoli, Tu\u{g}\c{c}e K\"oro\u{g}lu, Niraj R. Dayama, Antti Oulasvirta
• Abstract要約: 30の参加者と193のモバイルUIによる制御研究の結果を紹介します。 結果は、ユーザが見る方向を導く上で、期待する役割を物語っている。 モバイルUIの視覚的サリエンシを調査するための最初の注釈付きデータセットをリリースする。
• 参考スコア（独自算出の注目度）: 31.278845008743698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For graphical user interface (UI) design, it is important to understand what attracts visual attention. While previous work on saliency has focused on desktop and web-based UIs, mobile app UIs differ from these in several respects. We present findings from a controlled study with 30 participants and 193 mobile UIs. The results speak to a role of expectations in guiding where users look at. Strong bias toward the top-left corner of the display, text, and images was evident, while bottom-up features such as color or size affected saliency less. Classic, parameter-free saliency models showed a weak fit with the data, and data-driven models improved significantly when trained specifically on this dataset (e.g., NSS rose from 0.66 to 0.84). We also release the first annotated dataset for investigating visual saliency in mobile UIs.
• Abstract（参考訳）: グラフィカルユーザインタフェース(ui)設計では、視覚的な注意を引き付けるものを理解することが重要である。 saliencyはこれまでデスクトップとwebベースのuiにフォーカスしてきたが、モバイルアプリのuiはいくつかの点で異なる。 被験者30名,モバイルUI193名を対象に対照研究を行った。 結果は、ユーザが見る方向を導く上で、期待する役割を物語っている。 ディスプレイの左上隅、テキスト、画像への強い偏りは明らかであったが、色やサイズといったボトムアップ機能は塩分濃度に影響を及ぼさなかった。 古典的でパラメータフリーのサリエンシモデルはデータに適合せず、データ駆動モデルはデータセットに特化してトレーニングすると大幅に改善された(例えば、NASは0.66から0.84に増加した)。 また、モバイルUIの視覚的正当性を調べるための最初の注釈付きデータセットもリリースしました。

関連論文リスト

• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• Tell Me What's Next: Textual Foresight for Generic UI Representations [65.10591722192609]
  We propose Textual Foresight, a novel pretraining objective for learn UI screen representations。 Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。 新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。
  論文  参考訳（メタデータ） (2024-06-12T02:43:19Z)
• Towards Better Semantic Understanding of Mobile Interfaces [7.756895821262432]
  UI要素の機能の理解を深めることを目的とした,約500万のユニークなアノテーションを備えた,人間アノテーション付きデータセットをリリースしています。 このデータセットは、モバイルUIの大規模なデータセットであるRICOのイメージとビュー階層を拡張している。 また、画像のみの入力とマルチモーダル入力を用いたモデルもリリースし、様々なアーキテクチャを実験し、新しいデータセットでマルチモーダル入力を使用することの利点について検討する。
  論文  参考訳（メタデータ） (2022-10-06T03:48:54Z)
• Spotlight: Mobile UI Understanding using Vision-Language Models with a Focus [9.401663915424008]
  本稿では,UIのスクリーンショットと画面上の関心領域のみを入力とする視覚言語モデルを提案する。 実験の結果,本モデルではいくつかのUIタスクにおいてSoTA結果が得られ,従来手法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-29T16:45:43Z)
• Predicting and Explaining Mobile UI Tappability with Vision Modeling and Saliency Analysis [15.509241935245585]
  モバイルUIのスクリーンショットに選択された要素が、ユーザがタップ可能なものとして認識するかどうかを予測するために、ディープラーニングベースのアプローチを使用します。 また、モデルの出力を説明するのにMLの解釈可能性技術を使用します。
  論文  参考訳（メタデータ） (2022-04-05T18:51:32Z)
• Learning to Denoise Raw Mobile UI Layouts for Improving Datasets at Scale [7.6774030932546315]
  ユーザインタフェース(UI)レイアウトを識別するためのディープラーニングパイプラインを提案する。 パイプラインは、不正なノードを削除し、各ノードに意味のある型を割り当てることで、生のレイアウトに注釈を付ける。 我々の深層モデルは、有効な視覚表現を持たないレイアウトオブジェクトを検出するために、F1スコア82.7%で高い精度を達成する。
  論文  参考訳（メタデータ） (2022-01-11T17:52:40Z)
• Perceptual Score: What Data Modalities Does Your Model Perceive? [73.75255606437808]
  モデルが入力特徴の異なる部分集合に依存する度合いを評価する指標である知覚スコアを導入する。 近年,視覚的質問応答に対するマルチモーダルモデルでは,前者よりも視覚的データを知覚しにくい傾向がみられた。 知覚スコアを使用することで、スコアをデータサブセットのコントリビューションに分解することで、モデルのバイアスを分析することもできる。
  論文  参考訳（メタデータ） (2021-10-27T12:19:56Z)
• VINS: Visual Search for Mobile User Interface Design [66.28088601689069]
  本稿では、UIイメージを入力として、視覚的に類似したデザイン例を検索するビジュアル検索フレームワークVINSを紹介する。 このフレームワークは、平均平均精度76.39%のUI検出を実現し、類似したUI設計をクエリする際の高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-02-10T01:46:33Z)
• ActionBert: Leveraging User Actions for Semantic Understanding of User Interfaces [12.52699475631247]
  ActionBertと呼ばれる新しいトレーニング済みのUI表現モデルを紹介します。 本手法は,ユーザインタラクショントレースにおける視覚的,言語的,ドメイン特有の特徴を活用し,uiとそのコンポーネントの汎用的な特徴表現を事前学習するように設計されている。 実験により、提案するactionbertモデルは、下流タスク全体のマルチモーダルベースラインを最大15.5%上回ることがわかった。
  論文  参考訳（メタデータ） (2020-12-22T20:49:52Z)
• User-Guided Domain Adaptation for Rapid Annotation from User Interactions: A Study on Pathological Liver Segmentation [49.96706092808873]
  マスクベースの医用画像のアノテーション、特に3Dデータは、信頼できる機械学習モデルを開発する上でボトルネックとなる。 ユーザガイド付きドメイン適応(UGDA)フレームワークを提案する。このフレームワークは,UIとマスクの複合分布をモデル化するために,予測に基づくドメイン適応(PADA)を利用する。 UGDAは、利用可能なUIのごく一部しか見ていない場合でも、最先端のパフォーマンスを維持することができる。
  論文  参考訳（メタデータ） (2020-09-05T04:24:58Z)
• Towards End-to-end Video-based Eye-Tracking [50.0630362419371]
  画像のみから視線を推定することは、観察不可能な人固有の要因のために難しい課題である。 本稿では,これらの意味的関係と時間的関係を明確に学習することを目的とした,新しいデータセットとアタッチメント手法を提案する。 視覚刺激からの情報と視線画像の融合が,文献に記録された人物と同じような性能を達成することにつながることを実証した。
  論文  参考訳（メタデータ） (2020-07-26T12:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。