論文の概要: A Rule-Based Approach for UI Migration from Android to iOS
- arxiv url: http://arxiv.org/abs/2409.16656v1
- Date: Wed, 25 Sep 2024 06:19:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 05:12:32.914730
- Title: A Rule-Based Approach for UI Migration from Android to iOS
- Title（参考訳）: AndroidからiOSへのUIマイグレーションのためのルールベースのアプローチ
- Authors: Yi Gao, Xing Hu, Tongtong Xu, Xin Xia, Xiaohu Yang,
- Abstract要約: 既存のAndroidアプリUIからiOSへのクロスプラットフォーム移行を可能にするGUIMIGRATORと呼ばれる新しいアプローチを提案する。
GuiMIGRATORは、UIスケルトンツリーを構築するために、Android UIレイアウト、ビュー、リソースを抽出し解析する。
GuiMIGRATORは、ターゲットコードテンプレートを使用して最終的なUIコードファイルを生成し、iOS開発プラットフォームでコンパイルされ、検証される。
- 参考スコア（独自算出の注目度）: 11.229343760409044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the mobile development process, creating the user interface (UI) is highly resource intensive. Consequently, numerous studies have focused on automating UI development, such as generating UI from screenshots or design specifications. However, they heavily rely on computer vision techniques for image recognition. Any recognition errors can cause invalid UI element generation, compromising the effectiveness of these automated approaches. Moreover, developing an app UI from scratch remains a time consuming and labor intensive task. To address this challenge, we propose a novel approach called GUIMIGRATOR, which enables the cross platform migration of existing Android app UIs to iOS, thereby automatically generating UI to facilitate the reuse of existing UI. This approach not only avoids errors from screenshot recognition but also reduces the cost of developing UIs from scratch. GUIMIGRATOR extracts and parses Android UI layouts, views, and resources to construct a UI skeleton tree. GUIMIGRATOR generates the final UI code files utilizing target code templates, which are then compiled and validated in the iOS development platform, i.e., Xcode. We evaluate the effectiveness of GUIMIGRATOR on 31 Android open source applications across ten domains. The results show that GUIMIGRATOR achieves a UI similarity score of 78 between migration screenshots, outperforming two popular existing LLMs substantially. Additionally, GUIMIGRATOR demonstrates high efficiency, taking only 7.6 seconds to migrate the datasets. These findings indicate that GUIMIGRATOR effectively facilitates the reuse of Android UI code on iOS, leveraging the strengths of both platforms UI frameworks and making new contributions to cross platform development.
- Abstract（参考訳）: モバイル開発プロセスでは、ユーザーインターフェース(UI)の作成は非常にリソース集約的です。
その結果、スクリーンショットやデザイン仕様からUIを生成するなど、多くの研究がUI開発を自動化することに重点を置いている。
しかし、彼らは画像認識のためのコンピュータビジョン技術に大きく依存している。
認識エラーは、これらの自動化アプローチの有効性を損なう、無効なUI要素生成を引き起こす可能性がある。
さらに、スクラッチからアプリUIを開発するのは、時間と労力を要する作業です。
この課題に対処するため,GUIMIGRATORと呼ばれる新しいアプローチを提案し,既存のAndroidアプリUIのiOSへの移行を可能にする。
このアプローチは、スクリーンショット認識からのエラーを回避するだけでなく、UIをスクラッチから開発するコストを削減する。
GUIMIGRATORは、UIスケルトンツリーを構築するために、Android UIレイアウト、ビュー、リソースを抽出し解析する。
GUIMIGRATORは、ターゲットコードテンプレートを利用して最終的なUIコードファイルを生成し、それをiOS開発プラットフォーム、すなわちXcodeでコンパイルし、検証する。
10ドメインにわたる31のAndroidオープンソースアプリケーションに対するGUIMIGRATORの有効性を評価した。
その結果,GUIMIGRATORはマイグレーションスクリーンショット間のUI類似度スコア78を達成し,既存の2つのLLMを著しく上回る結果となった。
さらに、GUIMIGRATORは高い効率を示し、データセットを移行するのにわずか7.6秒しかかからない。
これらの結果から,GUIMIGRATORはiOS上でのAndroid UIコードの再利用を効果的に促進し,両プラットフォームのUIフレームワークの強みを活用し,クロスプラットフォーム開発に新たな貢献をすることを示す。
関連論文リスト
- ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。
デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。
256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
論文 参考訳（メタデータ） (2024-11-26T14:29:47Z) - OS-ATLAS: A Foundation Action Model for Generalist GUI Agents [55.37173845836839]
OS-AtlasはGUIグラウンディングとOODエージェントタスクに優れた基礎的なGUIアクションモデルである。
現在までに1300万以上のGUI要素を含む、オープンソースのクロスプラットフォームGUI基盤コーパスをリリースしています。
論文 参考訳（メタデータ） (2024-10-30T17:10:19Z) - Toward the Automated Localization of Buggy Mobile App UIs from Bug Descriptions [19.304569170230316]
バグの多いUI画面とUIコンポーネントの識別は、バグの多い振る舞いをローカライズして修正するために重要である。
本稿では,Buggy UIのローカライゼーションタスクの自動化の実現可能性について検討する。
ローカライズされたバギーUIを組み込むことで、hits@10.1では9%-12%の改善が達成されている。
論文 参考訳（メタデータ） (2024-08-07T20:26:20Z) - AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents [50.39555842254652]
我々は,モバイルシナリオにおけるAIエージェントの研究を進めるために,Android Multi-Annotation EXpo (AMEX)を紹介した。
AMEXは110のモバイルアプリケーションから104K以上の高解像度のスクリーンショットで構成されており、複数のレベルでアノテートされている。
AMEXには、GUIインタラクティブな要素接地、GUIスクリーンと要素機能記述、複雑な自然言語命令の3段階のアノテーションが含まれている。
論文 参考訳（メタデータ） (2024-07-03T17:59:58Z) - Automatically Generating UI Code from Screenshot: A Divide-and-Conquer-Based Approach [51.522121376987634]
ウェブページデザインのUIコードへの変換を自動化するための分割型アプローチであるDCGenを提案する。
DCGenはまず、スクリーンショットを管理可能なセグメントに分割し、各セグメントについて記述を生成し、その後、スクリーンショット全体のUIコードに再組み立てする。
実世界のWebサイトとさまざまなMLLMで構成されたデータセットを用いて広範囲なテストを行い、DCGenが競合するメソッドに比べて最大14%の視覚的類似性を実現していることを示す。
論文 参考訳（メタデータ） (2024-06-24T07:58:36Z) - On AI-Inspired UI-Design [5.969881132928718]
アプリデザイナがモバイルアプリのより優れた、より多様な、創造的なUIを作成するのをサポートするために、AI(Artificial Intelligence)を使用する方法に関する3つの主要な補完的なアプローチについて議論する。
まず、デザイナーはGPTのようなLarge Language Model(LLM)に1つまたは複数のUIを直接生成、調整するよう促すことができる。
第2に、VLM(Vision-Language Model)により、デザイナは、アプリストアに公開されたアプリから、大規模なスクリーンショットデータセットを効率的に検索することができる。
第3に、ディフュージョンモデル(DM)は、インスピレーションのあるイメージとしてアプリUIを生成するように設計されている。
論文 参考訳（メタデータ） (2024-06-19T15:28:21Z) - Tell Me What's Next: Textual Foresight for Generic UI Representations [65.10591722192609]
We propose Textual Foresight, a novel pretraining objective for learn UI screen representations。
Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。
新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。
論文 参考訳（メタデータ） (2024-06-12T02:43:19Z) - UI Semantic Group Detection: Grouping UI Elements with Similar Semantics
in Mobile Graphical User Interface [10.80156450091773]
UI要素のグループ化に関する既存の研究は、主に単一のUI関連ソフトウェアエンジニアリングタスクに焦点を当てており、そのグループは外観と機能が異なる。
類似のセマンティクスで隣接したテキストと非テキスト要素をパックするセマンティクスコンポーネントグループを提案する。
UIページ上のセマンティックコンポーネント群を認識するために,我々は,堅牢で深層学習に基づく視覚検出システムであるUISCGDを提案する。
論文 参考訳（メタデータ） (2024-03-08T01:52:44Z) - Spotlight: Mobile UI Understanding using Vision-Language Models with a
Focus [9.401663915424008]
本稿では,UIのスクリーンショットと画面上の関心領域のみを入力とする視覚言語モデルを提案する。
実験の結果,本モデルではいくつかのUIタスクにおいてSoTA結果が得られ,従来手法よりも優れていたことが判明した。
論文 参考訳（メタデータ） (2022-09-29T16:45:43Z) - VINS: Visual Search for Mobile User Interface Design [66.28088601689069]
本稿では、UIイメージを入力として、視覚的に類似したデザイン例を検索するビジュアル検索フレームワークVINSを紹介する。
このフレームワークは、平均平均精度76.39%のUI検出を実現し、類似したUI設計をクエリする際の高いパフォーマンスを実現している。
論文 参考訳（メタデータ） (2021-02-10T01:46:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。