論文の概要: Automated Mapping of Adaptive App GUIs from Phones to TVs
- arxiv url: http://arxiv.org/abs/2307.12522v1
- Date: Mon, 24 Jul 2023 04:35:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 16:32:23.719202
- Title: Automated Mapping of Adaptive App GUIs from Phones to TVs
- Title（参考訳）: 携帯電話からテレビへの適応型アプリGUIの自動マッピング
- Authors: Han Hu, Ruiqi Dong, John Grundy, Thai Minh Nguyen, Huaxiao Liu,
Chunyang Chen
- Abstract要約: 既存のモバイルアプリのGUIをテレビにマップする技術では、応答性のあるデザインを採用するか、ミラーアプリを使ってビデオディスプレイを改善する。
そこで本稿では,携帯電話のGUIを入力として,対応する適応型TV GUIを生成するための半自動アプローチを提案する。
当社のツールは、開発者だけでなく、テレビアプリ開発のために生成されたGUIをさらにカスタマイズできるGUIデザイナにとっても有益です。
- 参考スコア（独自算出の注目度）: 31.207923538204795
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the increasing interconnection of smart devices, users often desire to
adopt the same app on quite different devices for identical tasks, such as
watching the same movies on both their smartphones and TV.
However, the significant differences in screen size, aspect ratio, and
interaction styles make it challenging to adapt Graphical User Interfaces
(GUIs) across these devices.
Although there are millions of apps available on Google Play, only a few
thousand are designed to support smart TV displays.
Existing techniques to map a mobile app GUI to a TV either adopt a responsive
design, which struggles to bridge the substantial gap between phone and TV or
use mirror apps for improved video display, which requires hardware support and
extra engineering efforts.
Instead of developing another app for supporting TVs, we propose a
semi-automated approach to generate corresponding adaptive TV GUIs, given the
phone GUIs as the input.
Based on our empirical study of GUI pairs for TV and phone in existing apps,
we synthesize a list of rules for grouping and classifying phone GUIs,
converting them to TV GUIs, and generating dynamic TV layouts and source code
for the TV display.
Our tool is not only beneficial to developers but also to GUI designers, who
can further customize the generated GUIs for their TV app development.
An evaluation and user study demonstrate the accuracy of our generated GUIs
and the usefulness of our tool.
- Abstract（参考訳）: スマートデバイスの相互接続が増加する中、ユーザーはスマートフォンとテレビの両方で同じ映画を見るなど、全く異なるデバイスで同じアプリを同じタスクに採用したいことが多い。
しかし、画面サイズ、アスペクト比、インタラクションスタイルが著しく異なるため、これらのデバイス間でグラフィカルユーザインターフェース(gui)を適合させることは困難である。
google playには何百万ものアプリがあるが、スマートtvディスプレイをサポートするのはほんの数千だ。
既存のモバイルアプリのGUIをテレビにマップする技術は、応答性のあるデザインを採用するか、電話とテレビの間に大きなギャップを埋めるのに苦労する。
携帯電話のGUIを入力として考慮し、テレビをサポートするアプリを開発する代わりに、対応する適応型テレビGUIを生成するための半自動アプローチを提案する。
既存のアプリにおけるテレビと電話のGUIペアに関する実証的研究に基づいて,電話のGUIをグループ化し分類し,テレビGUIに変換し,動的テレビレイアウトとTVディスプレイのソースコードを生成するためのルールのリストを合成する。
当社のツールは、開発者だけでなく、テレビアプリ開発のために生成されたGUIをさらにカスタマイズできるGUIデザイナにとっても有益です。
評価とユーザスタディは、生成したGUIの精度とツールの有用性を実証する。
関連論文リスト
- MobileFlow: A Multimodal LLM For Mobile GUI Agent [4.7619361168442005]
本稿では,モバイルGUIエージェント用のマルチモーダルな大規模言語モデルであるMobileFlowを紹介する。
MobileFlowは約21億のパラメータを含み、新しいハイブリッドビジュアルエンコーダを備えている。
画像データを完全に解釈し、GUIインタラクションタスクのユーザ命令を理解する能力がある。
論文 参考訳（メタデータ） (2024-07-05T08:37:10Z) - AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents [50.39555842254652]
我々は,モバイルシナリオにおけるAIエージェントの研究を進めるために,Android Multi-Annotation EXpo (AMEX)を紹介した。
AMEXは110のモバイルアプリケーションから104K以上の高解像度のスクリーンショットで構成されており、複数のレベルでアノテートされている。
AMEXには、GUIインタラクティブな要素接地、GUIスクリーンと要素機能記述、複雑な自然言語命令の3段階のアノテーションが含まれている。
論文 参考訳（メタデータ） (2024-07-03T17:59:58Z) - GUICourse: From General Vision Language Models to Versatile GUI Agents [75.5150601913659]
GUICourseは、ビジュアルベースのGUIエージェントをトレーニングするためのデータセットスイートです。
まず、OCRとVLMのグラウンド機能を強化するためにGUIEnvデータセットを導入する。
次にGUIActとGUIChatデータセットを導入し、GUIコンポーネントやインタラクションに関する知識を充実させます。
論文 参考訳（メタデータ） (2024-06-17T08:30:55Z) - GUI-WORLD: A Dataset for GUI-oriented Multimodal LLM-based Agents [73.9254861755974]
本稿では,人間のMLLMアノテーションを巧みに作成するGUI-Worldという新しいデータセットを提案する。
各種GUIコンテンツの理解において,ImageLLMs や VideoLLMs などの最先端MLLMの能力を評価する。
論文 参考訳（メタデータ） (2024-06-16T06:56:53Z) - GUI Odyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices [61.48043339441149]
GUI Odysseyは6つのモバイルデバイスから7,735エピソードで構成され、6種類のクロスアプリタスク、201のアプリ、1.4Kのアプリコンボで構成されている。
履歴再サンプリングモジュールを用いたQwen-VLモデルの微調整により,マルチモーダルなクロスアプリナビゲーションエージェントであるOdysseyAgentを開発した。
論文 参考訳（メタデータ） (2024-06-12T17:44:26Z) - GUing: A Mobile GUI Search Engine using a Vision-Language Model [6.024602799136753]
本稿ではGUIClipと呼ばれる視覚言語モデルに基づくGUI検索エンジンGUingを提案する。
われわれは最初にGoogle Playアプリの紹介画像から収集し、最も代表的なスクリーンショットを表示する。
そこで我々は,これらの画像からキャプションを分類し,収穫し,抽出する自動パイプラインを開発した。
私たちはこのデータセットを使って新しい視覚言語モデルをトレーニングしました。
論文 参考訳（メタデータ） (2024-04-30T18:42:18Z) - GPT-4V in Wonderland: Large Multimodal Models for Zero-Shot Smartphone
GUI Navigation [167.6232690168905]
MM-Navigator(MM-Navigator)は、スマートフォンのGUIナビゲーションタスク用のGPT-4Vベースのエージェントである。
MM-Navigatorは、スマートフォンの画面と人間として対話し、指示を満たすためのその後の行動を決定することができる。
論文 参考訳（メタデータ） (2023-11-13T18:53:37Z) - Pairwise GUI Dataset Construction Between Android Phones and Tablets [24.208087862974033]
Paptデータセットは、Androidスマートフォンとタブレット用に調整されたペアワイズGUIデータセットである。
本稿では,このデータセット構築のための新しいGUIコレクション手法を提案する。
論文 参考訳（メタデータ） (2023-10-07T09:30:42Z) - A Pairwise Dataset for GUI Conversion and Retrieval between Android
Phones and Tablets [24.208087862974033]
Paptデータセットは、Androidスマートフォンとタブレット間のGUI変換と検索のためのペアワイズデータセットである。
データセットには5,593の電話-タブレットアプリペアから10,035の電話-タブレットGUIページペアが含まれている。
論文 参考訳（メタデータ） (2023-07-25T03:25:56Z) - NiCro: Purely Vision-based, Non-intrusive Cross-Device and
Cross-Platform GUI Testing [19.462053492572142]
我々は,非侵入型クロスデバイス・クロスプラットフォームシステムNiCroを提案する。
NiCroは最先端のGUIウィジェット検出器を使用してGUIイメージからウィジェットを検出し、さまざまなデバイスにまたがるウィジェットにマッチする一連の包括的な情報を分析する。
システムレベルでは、NiCroは仮想デバイスファームとロボットアームシステムと対話して、非侵襲的にクロスデバイスでクロスプラットフォームなテストを実行することができる。
論文 参考訳（メタデータ） (2023-05-24T01:19:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。