論文の概要: A2H: A UI Converter from Android to HarmonyOS Platform

• arxiv url: http://arxiv.org/abs/2412.13693v2
• Date: Thu, 19 Dec 2024 02:45:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:58.214863
• Title: A2H: A UI Converter from Android to HarmonyOS Platform
• Title（参考訳）: A2H: AndroidからHarmonyOSプラットフォームへのUIコンバータ
• Authors: Chen Wang, Lina Gong, Yujun Huang, Di Cui, Mingqiang Wei,
• Abstract要約: A2H Converterは,AndroidユーザインターフェースをHarmonyOSに移行する自動化ツールである。 このツールは、Android XMLレイアウトをHarmonyOS ArkUIレイアウトに変換するために、LLM(Big Language Model)駆動のマルチエージェントフレームワークを使用している。 A2H Converterは、コンポーネント、ページ、プロジェクトレベルでそれぞれ90.1%、89.3%、89.2%以上のマイグレーション成功率を達成する。
• 参考スコア（独自算出の注目度）: 20.2752697820237
• License:
• Abstract: With the growing importance of smartphones, developers face the challenge of creating separate applications for multiple platforms (e.g., Android, iOS, and HarmonyOS), leading to increased development costs and longer iteration cycles. One potential solution is to develop an app on one platform and then automatically convert it to other platforms, reducing the need for separate development efforts. However, migrating user interfaces (UIs) between platforms is particularly challenging due to significant differences in layout structures and development paradigms, such as the disparity between XML layout files in Android and ArkUI framework in HarmonyOS. Manual conversion of UIs is time-consuming, error-prone, and inefficient, necessitating an automated solution to streamline the process and enable seamless migration from Android to HarmonyOS. To address this challenge, we propose the A2H Converter, an automated tool for migrating Android UIs to HarmonyOS. The tool employs an large language model (LLM)-driven multi-agent framework to convert Android XML layouts into HarmonyOS ArkUI layouts. Using the RAG combing with decision rules, the system maps Android UI components to ArkUI equivalents, while a reflective mechanism continuously improves conversion accuracy. A2H Converter handles project-level layouts, ensuring consistency across multiple files and addressing complex UI logic. Experiments on six Android applications collected from GitHub demonstrate that our A2H Converter achieves a migration success rate of over 90.1%, 89.3%, and 89.2% at the component, page, and project levels, respectively. The demo video is available at. The tool is available at http://124.70.54.129:37860/.
• Abstract（参考訳）: スマートフォンの重要性が高まり、開発者は複数のプラットフォーム(Android、iOS、HarmonyOSなど)で別々のアプリケーションを開発するという課題に直面している。 潜在的な解決策の1つは、あるプラットフォーム上でアプリを開発し、それを他のプラットフォームに自動的に変換することで、別々の開発作業の必要性を減らすことである。 しかし、AndroidのXMLレイアウトファイルとHarmonyOSのArkUIフレームワークの相違など、レイアウト構造と開発パラダイムに大きな違いがあるため、プラットフォーム間でユーザーインターフェイス(UI)を移行することは特に困難である。 UIのマニュアル変換は時間がかかり、エラーが発生し、非効率であり、プロセスを合理化し、AndroidからHarmonyOSへのシームレスな移行を可能にする自動化されたソリューションが必要である。 この課題に対処するために、Android UIをHarmonyOSに移行する自動化ツールであるA2H Converterを提案する。 このツールは、Android XMLレイアウトをHarmonyOS ArkUIレイアウトに変換するために、LLM(Big Language Model)駆動のマルチエージェントフレームワークを使用している。 RAGを決定ルールと組み合わせることで、システムはAndroid UIコンポーネントをArkUI相当品にマップし、リフレクティブメカニズムはコンバージョン精度を継続的に改善する。 A2H Converterはプロジェクトレベルのレイアウトを処理し、複数のファイル間の一貫性を確保し、複雑なUIロジックに対処する。 GitHubから収集された6つのAndroidアプリケーションの実験によると、A2H Converterは、コンポーネント、ページ、プロジェクトレベルでそれぞれ90.1%、89.3%、89.2%以上のマイグレーション成功率を達成した。 デモビデオはこちらから。 このツールはhttp://124.70.54.129:37860/で入手できる。

関連論文リスト

• AutoGUI: Scaling GUI Grounding with Automatic Functionality Annotations from LLMs [54.58905728115257]
  本稿では,UI要素を自動的に注釈付けするためのメソッド名パイプラインを提案する。 具体的には、大きな言語モデル(LLM)を利用して、特定のUI要素との対話の前後のUI内容の変化を比較して要素機能を推測する。 提案したパイプラインを用いて,マルチレゾリューション,マルチデバイススクリーンショット,多様なデータドメイン,以前のデータセットで提供されていない詳細な機能アノテーションを特徴とするメソッドネーム704kデータセットを構築した。
  論文  参考訳（メタデータ） (2025-02-04T03:39:59Z)
• Falcon-UI: Understanding GUI Before Following User Instructions [57.67308498231232]
  インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。 Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。 我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
  論文  参考訳（メタデータ） (2024-12-12T15:29:36Z)
• A Rule-Based Approach for UI Migration from Android to iOS [11.229343760409044]
  既存のAndroidアプリUIからiOSへのクロスプラットフォーム移行を可能にするGUIMIGRATORと呼ばれる新しいアプローチを提案する。 GuiMIGRATORは、UIスケルトンツリーを構築するために、Android UIレイアウト、ビュー、リソースを抽出し解析する。 GuiMIGRATORは、ターゲットコードテンプレートを使用して最終的なUIコードファイルを生成し、iOS開発プラットフォームでコンパイルされ、検証される。
  論文  参考訳（メタデータ） (2024-09-25T06:19:54Z)
• AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents [50.39555842254652]
  我々は,モバイルシナリオにおけるAIエージェントの研究を進めるために,Android Multi-Annotation EXpo (AMEX)を紹介した。 AMEXは110のモバイルアプリケーションから104K以上の高解像度のスクリーンショットで構成されており、複数のレベルでアノテートされている。 AMEXには、GUIインタラクティブな要素接地、GUIスクリーンと要素機能記述、複雑な自然言語命令の3段階のアノテーションが含まれている。
  論文  参考訳（メタデータ） (2024-07-03T17:59:58Z)
• GUI Odyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices [61.48043339441149]
  GUI Odysseyは6つのモバイルデバイスから7,735エピソードで構成され、6種類のクロスアプリタスク、201のアプリ、1.4Kのアプリコンボで構成されている。 履歴再サンプリングモジュールを用いたQwen-VLモデルの微調整により,マルチモーダルなクロスアプリナビゲーションエージェントであるOdysseyAgentを開発した。
  論文  参考訳（メタデータ） (2024-06-12T17:44:26Z)
• Tell Me What's Next: Textual Foresight for Generic UI Representations [65.10591722192609]
  We propose Textual Foresight, a novel pretraining objective for learn UI screen representations。 Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。 新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。
  論文  参考訳（メタデータ） (2024-06-12T02:43:19Z)
• UI Semantic Group Detection: Grouping UI Elements with Similar Semantics in Mobile Graphical User Interface [10.80156450091773]
  UI要素のグループ化に関する既存の研究は、主に単一のUI関連ソフトウェアエンジニアリングタスクに焦点を当てており、そのグループは外観と機能が異なる。 類似のセマンティクスで隣接したテキストと非テキスト要素をパックするセマンティクスコンポーネントグループを提案する。 UIページ上のセマンティックコンポーネント群を認識するために,我々は,堅牢で深層学習に基づく視覚検出システムであるUISCGDを提案する。
  論文  参考訳（メタデータ） (2024-03-08T01:52:44Z)
• ReverseORC: Reverse Engineering of Resizable User Interface Layouts with OR-Constraints [47.164878414034234]
  ReverseORCは、多様なレイアウトタイプとその動的リサイズ動作を発見するための、新しいリバースエンジニアリング(RE)アプローチである。 複雑な動的レイアウトの振る舞いを持つ標準ではないレイアウトマネージャを再現する仕様を作成することができる。 レガシーUIの問題の検出と修正、レイアウトの振る舞いを拡張したUIの拡張、フレキシブルなUIレイアウトの作成をサポートするために使用できる。
  論文  参考訳（メタデータ） (2022-02-23T13:57:25Z)
• Learning to Denoise Raw Mobile UI Layouts for Improving Datasets at Scale [7.6774030932546315]
  ユーザインタフェース(UI)レイアウトを識別するためのディープラーニングパイプラインを提案する。 パイプラインは、不正なノードを削除し、各ノードに意味のある型を割り当てることで、生のレイアウトに注釈を付ける。 我々の深層モデルは、有効な視覚表現を持たないレイアウトオブジェクトを検出するために、F1スコア82.7%で高い精度を達成する。
  論文  参考訳（メタデータ） (2022-01-11T17:52:40Z)
• UIBert: Learning Generic Multimodal Representations for UI Understanding [12.931540149350633]
  大規模な未ラベルUIデータに対する新しい事前学習タスクによって訓練されたトランスフォーマーベースの共同画像テキストモデルを提案する。 私たちの重要な直感は、UIの異種機能は自己整合である、つまり、UIコンポーネントのイメージとテキスト機能は、相互に予測可能である、ということです。 この自己アライメントを利用した5つの事前学習タスクを提案する。 UIBertは、最大9.26%の精度で強力なマルチモーダルベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-07-29T03:51:36Z)
• Magic Layouts: Structural Prior for Component Detection in User Interface Designs [28.394160581239174]
  ユーザインタフェース(UI)レイアウトのスクリーンショットや手書きスケッチを解析する手法であるMagic Layoutsを提示する。 当社のコアコントリビューションは、既存の検出器を拡張して、UI設計の学習された構造を活用することです。 ユーザエクスペリエンス(UX)設計のディジタルプロトタイプを高速に取得するためのインタラクティブアプリケーションとして,コンテキスト内でデモを行う。
  論文  参考訳（メタデータ） (2021-06-14T17:20:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。