論文の概要: Toward the Automated Localization of Buggy Mobile App UIs from Bug Descriptions

• arxiv url: http://arxiv.org/abs/2408.04075v1
• Date: Wed, 7 Aug 2024 20:26:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 17:20:07.263603
• Title: Toward the Automated Localization of Buggy Mobile App UIs from Bug Descriptions
• Title（参考訳）: バグ記述からのBuggy Mobile UIの自動ローカライズに向けて
• Authors: Antu Saha, Yang Song, Junayed Mahmud, Ying Zhou, Kevin Moran, Oscar Chaparro,
• Abstract要約: バグの多いUI画面とUIコンポーネントの識別は、バグの多い振る舞いをローカライズして修正するために重要である。 本稿では,Buggy UIのローカライゼーションタスクの自動化の実現可能性について検討する。 ローカライズされたバギーUIを組み込むことで、hits@10.1では9%-12%の改善が達成されている。
• 参考スコア（独自算出の注目度）: 19.304569170230316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bug report management is a costly software maintenance process comprised of several challenging tasks. Given the UI-driven nature of mobile apps, bugs typically manifest through the UI, hence the identification of buggy UI screens and UI components (Buggy UI Localization) is important to localizing the buggy behavior and eventually fixing it. However, this task is challenging as developers must reason about bug descriptions (which are often low-quality), and the visual or code-based representations of UI screens. This paper is the first to investigate the feasibility of automating the task of Buggy UI Localization through a comprehensive study that evaluates the capabilities of one textual and two multi-modal deep learning (DL) techniques and one textual unsupervised technique. We evaluate such techniques at two levels of granularity, Buggy UI Screen and UI Component localization. Our results illustrate the individual strengths of models that make use of different representations, wherein models that incorporate visual information perform better for UI screen localization, and models that operate on textual screen information perform better for UI component localization -- highlighting the need for a localization approach that blends the benefits of both types of techniques. Furthermore, we study whether Buggy UI Localization can improve traditional buggy code localization, and find that incorporating localized buggy UIs leads to improvements of 9%-12% in Hits@10.
• Abstract（参考訳）: バグレポート管理は、いくつかの困難なタスクで構成された、コストのかかるソフトウェアメンテナンスプロセスである。 モバイルアプリのUI駆動性を考えると、バグは一般的にUIを通じて現れるので、バグの多いUI画面とUIコンポーネント(バギーUIのローカライゼーション)の識別は、バグの多い振る舞いをローカライズし、最終的に修正する上で重要である。 しかし、開発者がバグ記述(しばしば低品質)とUI画面の視覚的あるいはコードベースの表現について考える必要があるため、このタスクは難しい。 本稿では,1つのテキストと2つのマルチモーダル深層学習(DL)技術と1つのテキスト非教師技術の有効性を評価する総合的な研究を通じて,Buggy UIローカライゼーションタスクの自動化の実現可能性について検討した。 Buggy UI Screen と UI Component Localization の2つのレベルの粒度でこれらの技術を評価する。 視覚情報を組み込んだモデルはUI画面のローカライゼーションに優れ、テキスト画面情報を操作するモデルはUIコンポーネントのローカライゼーションに優れます -- 両方のテクニックの利点をブレンドしたローカライゼーションアプローチの必要性を強調します。 さらに、Buggy UIのローカライゼーションが従来のバグギーコードのローカライゼーションを改善することができるかどうかを調査し、ローカライズされたバグギーUIを組み込むことで、hits@10.1では9%-12%の改善が達成されることを確認した。

関連論文リスト

• ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
  グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。 デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。 256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
  論文  参考訳（メタデータ） (2024-11-26T14:29:47Z)
• A Rule-Based Approach for UI Migration from Android to iOS [11.229343760409044]
  既存のAndroidアプリUIからiOSへのクロスプラットフォーム移行を可能にするGUIMIGRATORと呼ばれる新しいアプローチを提案する。 GuiMIGRATORは、UIスケルトンツリーを構築するために、Android UIレイアウト、ビュー、リソースを抽出し解析する。 GuiMIGRATORは、ターゲットコードテンプレートを使用して最終的なUIコードファイルを生成し、iOS開発プラットフォームでコンパイルされ、検証される。
  論文  参考訳（メタデータ） (2024-09-25T06:19:54Z)
• Tell Me What's Next: Textual Foresight for Generic UI Representations [65.10591722192609]
  We propose Textual Foresight, a novel pretraining objective for learn UI screen representations。 Textual Foresightは、現在のUIとローカルアクションを考慮すれば、将来のUI状態のグローバルなテキスト記述を生成する。 新たに構築したモバイルアプリデータセットであるOpenAppでトレーニングを行い、アプリUI表現学習のための最初の公開データセットを作成しました。
  論文  参考訳（メタデータ） (2024-06-12T02:43:19Z)
• Multi-Granularity Language-Guided Multi-Object Tracking [95.91263758294154]
  本稿では,多目的追跡フレームワークLG-MOTを提案する。 推測では、LG-MOTは注釈付き言語記述に頼ることなく、標準的な視覚機能を使用します。 我々のLG-MOTは、視覚的特徴のみを用いたベースラインと比較して、目標対象関連(IDF1スコア)において、絶対的な2.2%のゲインを達成している。
  論文  参考訳（メタデータ） (2024-06-07T11:18:40Z)
• UI Layers Group Detector: Grouping UI Layers via Text Fusion and Box Attention [7.614630088064978]
  画像(基本的な形状や視覚要素)と同じ意味を持つテキスト層を自動的に検出する視覚ベースの手法を提案する。 トレーニングとテストのための大規模なUIデータセットを構築し,検出性能を高めるためのデータ拡張アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-07T03:50:20Z)
• BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
  BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。 実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。 われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
  論文  参考訳（メタデータ） (2022-07-21T20:17:53Z)
• Integrating Visuospatial, Linguistic and Commonsense Structure into Story Visualization [81.26077816854449]
  まず、構造的入力を符号化するための選挙区解析木の利用について検討する。 第二に、構造化されたインプットをコモンセンス情報で強化し、この外部知識が視覚的ストーリーの生成に与える影響について検討する。 第3に、境界ボックスと高密度キャプションによって視覚構造を組み込んで、生成された画像の文字やオブジェクトに関するフィードバックを提供する。
  論文  参考訳（メタデータ） (2021-10-21T00:16:02Z)
• UIBert: Learning Generic Multimodal Representations for UI Understanding [12.931540149350633]
  大規模な未ラベルUIデータに対する新しい事前学習タスクによって訓練されたトランスフォーマーベースの共同画像テキストモデルを提案する。 私たちの重要な直感は、UIの異種機能は自己整合である、つまり、UIコンポーネントのイメージとテキスト機能は、相互に予測可能である、ということです。 この自己アライメントを利用した5つの事前学習タスクを提案する。 UIBertは、最大9.26%の精度で強力なマルチモーダルベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-07-29T03:51:36Z)
• VINS: Visual Search for Mobile User Interface Design [66.28088601689069]
  本稿では、UIイメージを入力として、視覚的に類似したデザイン例を検索するビジュアル検索フレームワークVINSを紹介する。 このフレームワークは、平均平均精度76.39%のUI検出を実現し、類似したUI設計をクエリする際の高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2021-02-10T01:46:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。