論文の概要: UITrans: Seamless UI Translation from Android to HarmonyOS

• arxiv url: http://arxiv.org/abs/2412.13693v3
• Date: Wed, 05 Feb 2025 09:11:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:25:21.584685
• Title: UITrans: Seamless UI Translation from Android to HarmonyOS
• Title（参考訳）: UITrans: AndroidからHarmonyOSへのシームレスUI変換
• Authors: Lina Gong, Chen Wang, Yujun Huang, Di Cui, Mingqiang Wei,
• Abstract要約: 私たちは、Android用にデザインされた最初の自動UI変換ツールであるUITransをHarmonyOSに提示します。 6つのAndroidアプリケーションの評価では、UITrans翻訳の成功率は、コンポーネント、ページ、プロジェクトレベルでそれぞれ90.1%、89.3%、89.2%である。
• 参考スコア（独自算出の注目度）: 20.2752697820237
• License:
• Abstract: Seamless user interface (i.e., UI) translation has emerged as a pivotal technique for modern mobile developers, addressing the challenge of developing separate UI applications for Android and HarmonyOS platforms due to fundamental differences in layout structures and development paradigms. In this paper, we present UITrans, the first automated UI translation tool designed for Android to HarmonyOS. UITrans leverages an LLM-driven multi-agent reflective collaboration framework to convert Android XML layouts into HarmonyOS ArkUI layouts. It not only maps component-level and page-level elements to ArkUI equivalents but also handles project-level challenges, including complex layouts and interaction logic. Our evaluation of six Android applications demonstrates that our UITrans achieves translation success rates of over 90.1%, 89.3%, and 89.2% at the component, page, and project levels, respectively. UITrans is available at https://github.com/OpenSELab/UITrans and the demo video can be viewed at https://www.youtube.com/watch?v=iqKOSmCnJG0.
• Abstract（参考訳）: シームレスなユーザインターフェース(つまりUI)の翻訳は、レイアウト構造と開発パラダイムに根本的な違いがあるため、AndroidとHarmonyOSプラットフォーム用の別々のUIアプリケーションを開発するという課題に対処するため、現代のモバイル開発者にとって重要なテクニックとして登場した。 本稿では,Android向けの初の自動UI翻訳ツールであるUITransをHarmonyOSに提示する。 UITransはLLM駆動のマルチエージェント・リフレクティブ・コラボレーション・フレームワークを活用し、Android XMLレイアウトをHarmonyOS ArkUIレイアウトに変換する。 コンポーネントレベルの要素とページレベルの要素をArkUIの等価要素にマッピングするだけでなく、複雑なレイアウトやインタラクションロジックを含むプロジェクトレベルの課題も処理します。 6つのAndroidアプリケーションの評価では、UITransが、コンポーネント、ページ、プロジェクトレベルでそれぞれ90.1%、89.3%、89.2%以上の翻訳成功率を達成したことが示されています。 UITransはhttps://github.com/OpenSELab/UITransで利用可能で、デモビデオはhttps://www.youtube.com/watch? v=iqKOSmCnJG0。

関連論文リスト

• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• Ferret-UI 2: Mastering Universal User Interface Understanding Across Platforms [48.00193601902457]
  Ferret-UI 2 は多言語大言語モデル (MLLM) であり、幅広いプラットフォームでUIを統一的に理解するために設計された。 Ferret-UI 2では、複数のプラットフォームタイプのサポート、適応スケーリングによる高解像度の認識、GPT-4oを使った高度なタスクトレーニングデータ生成、マークのセット・オブ・マークによる視覚的プロンプトの3つの重要なイノベーションが導入されている。
  論文  参考訳（メタデータ） (2024-10-24T17:58:31Z)
• A Rule-Based Approach for UI Migration from Android to iOS [11.229343760409044]
  既存のAndroidアプリUIからiOSへのクロスプラットフォーム移行を可能にするGUIMIGRATORと呼ばれる新しいアプローチを提案する。 GuiMIGRATORは、UIスケルトンツリーを構築するために、Android UIレイアウト、ビュー、リソースを抽出し解析する。 GuiMIGRATORは、ターゲットコードテンプレートを使用して最終的なUIコードファイルを生成し、iOS開発プラットフォームでコンパイルされ、検証される。
  論文  参考訳（メタデータ） (2024-09-25T06:19:54Z)
• AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents [50.39555842254652]
  我々は,モバイルシナリオにおけるAIエージェントの研究を進めるために,Android Multi-Annotation EXpo (AMEX)を紹介した。 AMEXは110のモバイルアプリケーションから104K以上の高解像度のスクリーンショットで構成されており、複数のレベルでアノテートされている。 AMEXには、GUIインタラクティブな要素接地、GUIスクリーンと要素機能記述、複雑な自然言語命令の3段階のアノテーションが含まれている。
  論文  参考訳（メタデータ） (2024-07-03T17:59:58Z)
• GUI Odyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices [61.48043339441149]
  GUI Odysseyは6つのモバイルデバイスから7,735エピソードで構成され、6種類のクロスアプリタスク、201のアプリ、1.4Kのアプリコンボで構成されている。 履歴再サンプリングモジュールを用いたQwen-VLモデルの微調整により,マルチモーダルなクロスアプリナビゲーションエージェントであるOdysseyAgentを開発した。
  論文  参考訳（メタデータ） (2024-06-12T17:44:26Z)
• Pairwise GUI Dataset Construction Between Android Phones and Tablets [24.208087862974033]
  Paptデータセットは、Androidスマートフォンとタブレット用に調整されたペアワイズGUIデータセットである。 本稿では,このデータセット構築のための新しいGUIコレクション手法を提案する。
  論文  参考訳（メタデータ） (2023-10-07T09:30:42Z)
• Scene-Driven Exploration and GUI Modeling for Android Apps [13.647261033241364]
  ATG,WTG,STGなどのアプリケーションに対する抽出された遷移グラフは,遷移カバレッジが低く,粒度が粗い。 動的にGUIシーンを抽出するシーン駆動探索手法であるSceneDroidを提案する。 既存のGUIモデリングツールと比較すると、SceneDroidは168.74%のトランジションペアと162.42%のシーン抽出で改善されている。
  論文  参考訳（メタデータ） (2023-08-20T10:54:25Z)
• Meta-Transformer: A Unified Framework for Multimodal Learning [105.77219833997962]
  マルチモーダル学習は、複数のモーダルからの情報を処理し、関連付けるモデルを構築することを目的としている。 この分野での長年の開発にもかかわらず、様々なモダリティを処理する統一ネットワークを設計することは依然として困難である。 我々は、textbffrozen$ encoderを利用してマルチモーダル認識を行うMeta-Transformerというフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-20T12:10:29Z)
• Android in the Wild: A Large-Scale Dataset for Android Device Control [4.973591165982018]
  デバイス制御研究のためのデータセット、Android in the Wild (AITW) を提示する。 データセットには、画面やアクションを含むデバイスインタラクションの人間によるデモと、対応する自然言語命令が含まれている。 30kのユニークな命令、Androidの4つのバージョン(v10-13)、そして8つのデバイスタイプ(Pixel 2 XLからPixel 6)にまたがる715kのエピソードで構成されている。
  論文  参考訳（メタデータ） (2023-07-19T15:57:24Z)
• ReverseORC: Reverse Engineering of Resizable User Interface Layouts with OR-Constraints [47.164878414034234]
  ReverseORCは、多様なレイアウトタイプとその動的リサイズ動作を発見するための、新しいリバースエンジニアリング(RE)アプローチである。 複雑な動的レイアウトの振る舞いを持つ標準ではないレイアウトマネージャを再現する仕様を作成することができる。 レガシーUIの問題の検出と修正、レイアウトの振る舞いを拡張したUIの拡張、フレキシブルなUIレイアウトの作成をサポートするために使用できる。
  論文  参考訳（メタデータ） (2022-02-23T13:57:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。