論文の概要: UITrans: Seamless UI Translation from Android to HarmonyOS

• arxiv url: http://arxiv.org/abs/2412.13693v3
• Date: Wed, 05 Feb 2025 09:11:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:25:21.584685
• Title: UITrans: Seamless UI Translation from Android to HarmonyOS
• Title（参考訳）: UITrans: AndroidからHarmonyOSへのシームレスUI変換
• Authors: Lina Gong, Chen Wang, Yujun Huang, Di Cui, Mingqiang Wei,
• Abstract要約: 私たちは、Android用にデザインされた最初の自動UI変換ツールであるUITransをHarmonyOSに提示します。 6つのAndroidアプリケーションの評価では、UITrans翻訳の成功率は、コンポーネント、ページ、プロジェクトレベルでそれぞれ90.1%、89.3%、89.2%である。
• 参考スコア（独自算出の注目度）: 20.2752697820237
• License:
• Abstract: Seamless user interface (i.e., UI) translation has emerged as a pivotal technique for modern mobile developers, addressing the challenge of developing separate UI applications for Android and HarmonyOS platforms due to fundamental differences in layout structures and development paradigms. In this paper, we present UITrans, the first automated UI translation tool designed for Android to HarmonyOS. UITrans leverages an LLM-driven multi-agent reflective collaboration framework to convert Android XML layouts into HarmonyOS ArkUI layouts. It not only maps component-level and page-level elements to ArkUI equivalents but also handles project-level challenges, including complex layouts and interaction logic. Our evaluation of six Android applications demonstrates that our UITrans achieves translation success rates of over 90.1%, 89.3%, and 89.2% at the component, page, and project levels, respectively. UITrans is available at https://github.com/OpenSELab/UITrans and the demo video can be viewed at https://www.youtube.com/watch?v=iqKOSmCnJG0.
• Abstract（参考訳）: シームレスなユーザインターフェース(つまりUI)の翻訳は、レイアウト構造と開発パラダイムに根本的な違いがあるため、AndroidとHarmonyOSプラットフォーム用の別々のUIアプリケーションを開発するという課題に対処するため、現代のモバイル開発者にとって重要なテクニックとして登場した。 本稿では,Android向けの初の自動UI翻訳ツールであるUITransをHarmonyOSに提示する。 UITransはLLM駆動のマルチエージェント・リフレクティブ・コラボレーション・フレームワークを活用し、Android XMLレイアウトをHarmonyOS ArkUIレイアウトに変換する。 コンポーネントレベルの要素とページレベルの要素をArkUIの等価要素にマッピングするだけでなく、複雑なレイアウトやインタラクションロジックを含むプロジェクトレベルの課題も処理します。 6つのAndroidアプリケーションの評価では、UITransが、コンポーネント、ページ、プロジェクトレベルでそれぞれ90.1%、89.3%、89.2%以上の翻訳成功率を達成したことが示されています。 UITransはhttps://github.com/OpenSELab/UITransで利用可能で、デモビデオはhttps://www.youtube.com/watch? v=iqKOSmCnJG0。

関連論文リスト

• AutoGUI: Scaling GUI Grounding with Automatic Functionality Annotations from LLMs [54.58905728115257]
  本稿では,UI要素を自動的に注釈付けするためのメソッド名パイプラインを提案する。 具体的には、大きな言語モデル(LLM)を利用して、特定のUI要素との対話の前後のUI内容の変化を比較して要素機能を推測する。 提案したパイプラインを用いて,マルチレゾリューション,マルチデバイススクリーンショット,多様なデータドメイン,以前のデータセットで提供されていない詳細な機能アノテーションを特徴とするメソッドネーム704kデータセットを構築した。
  論文  参考訳（メタデータ） (2025-02-04T03:39:59Z)
• Falcon-UI: Understanding GUI Before Following User Instructions [57.67308498231232]
  インテリジェンスフリーなGUIナビゲーションデータセットであるInsight-UIデータセットを導入し、GUI環境のモデル理解を強化する。 Insight-UIデータセットはCommon Crawlコーパスから自動的に生成され、さまざまなプラットフォームをシミュレートする。 我々は、最初Insight-UIデータセットで事前訓練され、その後AndroidおよびWeb GUIデータセットで微調整されたGUIエージェントモデルFalcon-UIを開発した。
  論文  参考訳（メタデータ） (2024-12-12T15:29:36Z)
• A Rule-Based Approach for UI Migration from Android to iOS [11.229343760409044]
  既存のAndroidアプリUIからiOSへのクロスプラットフォーム移行を可能にするGUIMIGRATORと呼ばれる新しいアプローチを提案する。 GuiMIGRATORは、UIスケルトンツリーを構築するために、Android UIレイアウト、ビュー、リソースを抽出し解析する。 GuiMIGRATORは、ターゲットコードテンプレートを使用して最終的なUIコードファイルを生成し、iOS開発プラットフォームでコンパイルされ、検証される。
  論文  参考訳（メタデータ） (2024-09-25T06:19:54Z)
• AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents [50.39555842254652]
  我々は,モバイルシナリオにおけるAIエージェントの研究を進めるために,Android Multi-Annotation EXpo (AMEX)を紹介した。 AMEXは110のモバイルアプリケーションから104K以上の高解像度のスクリーンショットで構成されており、複数のレベルでアノテートされている。 AMEXには、GUIインタラクティブな要素接地、GUIスクリーンと要素機能記述、複雑な自然言語命令の3段階のアノテーションが含まれている。
  論文  参考訳（メタデータ） (2024-07-03T17:59:58Z)
• GUI Odyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices [61.48043339441149]
  GUI Odysseyは6つのモバイルデバイスから7,735エピソードで構成され、6種類のクロスアプリタスク、201のアプリ、1.4Kのアプリコンボで構成されている。 履歴再サンプリングモジュールを用いたQwen-VLモデルの微調整により,マルチモーダルなクロスアプリナビゲーションエージェントであるOdysseyAgentを開発した。
  論文  参考訳（メタデータ） (2024-06-12T17:44:26Z)
• Tell Me What's Next: Textual Foresight for Generic UI Representations [65.10591722192609]
  We propose Textual Foresight, a novel pretraining objective for learn UI screen representations。 Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。 新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。
  論文  参考訳（メタデータ） (2024-06-12T02:43:19Z)
• UI Semantic Group Detection: Grouping UI Elements with Similar Semantics in Mobile Graphical User Interface [10.80156450091773]
  UI要素のグループ化に関する既存の研究は、主に単一のUI関連ソフトウェアエンジニアリングタスクに焦点を当てており、そのグループは外観と機能が異なる。 類似のセマンティクスで隣接したテキストと非テキスト要素をパックするセマンティクスコンポーネントグループを提案する。 UIページ上のセマンティックコンポーネント群を認識するために,我々は,堅牢で深層学習に基づく視覚検出システムであるUISCGDを提案する。
  論文  参考訳（メタデータ） (2024-03-08T01:52:44Z)
• ReverseORC: Reverse Engineering of Resizable User Interface Layouts with OR-Constraints [47.164878414034234]
  ReverseORCは、多様なレイアウトタイプとその動的リサイズ動作を発見するための、新しいリバースエンジニアリング(RE)アプローチである。 複雑な動的レイアウトの振る舞いを持つ標準ではないレイアウトマネージャを再現する仕様を作成することができる。 レガシーUIの問題の検出と修正、レイアウトの振る舞いを拡張したUIの拡張、フレキシブルなUIレイアウトの作成をサポートするために使用できる。
  論文  参考訳（メタデータ） (2022-02-23T13:57:25Z)
• Learning to Denoise Raw Mobile UI Layouts for Improving Datasets at Scale [7.6774030932546315]
  ユーザインタフェース(UI)レイアウトを識別するためのディープラーニングパイプラインを提案する。 パイプラインは、不正なノードを削除し、各ノードに意味のある型を割り当てることで、生のレイアウトに注釈を付ける。 我々の深層モデルは、有効な視覚表現を持たないレイアウトオブジェクトを検出するために、F1スコア82.7%で高い精度を達成する。
  論文  参考訳（メタデータ） (2022-01-11T17:52:40Z)
• UIBert: Learning Generic Multimodal Representations for UI Understanding [12.931540149350633]
  大規模な未ラベルUIデータに対する新しい事前学習タスクによって訓練されたトランスフォーマーベースの共同画像テキストモデルを提案する。 私たちの重要な直感は、UIの異種機能は自己整合である、つまり、UIコンポーネントのイメージとテキスト機能は、相互に予測可能である、ということです。 この自己アライメントを利用した5つの事前学習タスクを提案する。 UIBertは、最大9.26%の精度で強力なマルチモーダルベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-07-29T03:51:36Z)
• Magic Layouts: Structural Prior for Component Detection in User Interface Designs [28.394160581239174]
  ユーザインタフェース(UI)レイアウトのスクリーンショットや手書きスケッチを解析する手法であるMagic Layoutsを提示する。 当社のコアコントリビューションは、既存の検出器を拡張して、UI設計の学習された構造を活用することです。 ユーザエクスペリエンス(UX)設計のディジタルプロトタイプを高速に取得するためのインタラクティブアプリケーションとして,コンテキスト内でデモを行う。
  論文  参考訳（メタデータ） (2021-06-14T17:20:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。