論文の概要: Fusing UI Structure & Semantics for Feature-Oriented App Screen Retrieval & Clustering

• arxiv url: http://arxiv.org/abs/2608.08880v1
• Date: Sun, 09 Aug 2026 19:39:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.983415
• Title: Fusing UI Structure & Semantics for Feature-Oriented App Screen Retrieval & Clustering
• Title（参考訳）: 機能指向のアプリ画面検索とクラスタリングのためのUI構造とセマンティクスの融合
• Abstract要約: 本稿では,マルチモーダル,ニューロシンボリックな埋め込み技術であるFRAMEを提案する。 UIコンポーネントの象徴的でグラフベースの表現を構築して、健全な関係をエンコードする。 FRAMEは検索で最大13%のMRR、クラスタリング精度で7.6ポイントの強いベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 17.639753380076417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User Interface (UI) programming is challenging due to the complex abstraction gap between code and graphical software representations. To bridge this gap, UI programming tools often rely on screen retrieval and clustering, which require accurate similarity measures based on overlapping features. However, computing feature-oriented similarity is difficult because screens with similar functionality often exhibit design variations. To address this, we propose FRAME (ReinForced UseR InterfAce Screen EMbedding with Graphical Structural ComprEhension), a multi-modal, neuro-symbolic embedding technique. FRAME constructs symbolic, graph-based representations of UI components to encode salient relationships and capture feature patterns across different screens. It leverages large vision-language models for visual and lexical encoding, alongside a novel UI-specific computational geometry algorithm that enables weighted embedding propagation. Across three benchmarks, FRAME outperforms strong baselines by up to 13% MRR in search and 7.6 percentage points in clustering accuracy. A comprehensive ablation study further confirms the benefit of each component, demonstrating FRAME's potential for enhancing automated UI design and testing tools.
• Abstract（参考訳）: ユーザインタフェース(UI)プログラミングは、コードとグラフィカルなソフトウェア表現の間の複雑な抽象的なギャップのために難しい。 このギャップを埋めるために、UIプログラミングツールは、しばしば画面検索とクラスタリングに依存し、重複する機能に基づいた正確な類似度測定を必要とする。 しかし、機能指向の類似性の計算は、類似した機能を持つスクリーンがしばしば設計のバリエーションを示すため困難である。 そこで我々は,マルチモーダル,ニューロシンボリックな埋め込み技術であるFRAME (ReinForced UseR InterfAce Screen EMbedding with Graphical Structure ComprEhension)を提案する。 FRAMEは、UIコンポーネントの象徴的でグラフベースの表現を構築し、健全な関係を符号化し、異なるスクリーンにまたがる特徴パターンをキャプチャする。 視覚的および語彙的エンコーディングのための大きな視覚言語モデルと、重み付けされた埋め込み伝搬を可能にする新しいUI固有の計算幾何学アルゴリズムを利用する。 3つのベンチマークで、FRAMEは検索で最大13% MRR、クラスタリングの精度で7.6ポイント、強力なベースラインを上回っている。 包括的なアブレーション調査では、各コンポーネントのメリットをさらに確認し、自動UI設計とテストツールの強化に対するFRAMEの可能性を示している。

関連論文リスト

• WinDeskGround: A Benchmark for Robust GUI Grounding in Complex Multi-Window Desktop Environments [49.98994180610182]
  MLLM (Multimodal Large Language Models) はGUIの自動化に革命をもたらしたが、その効果は理想化された単一層インタフェースでほぼ確立されている。 本稿では,最先端のエージェントが現実のデスクトップ環境において,異なる課題に直面しているという,重要な信頼性ギャップを明らかにする。 我々はGUI基盤の堅牢性を評価するための新しいベンチマークと合成フレームワークであるWinDeskGroundを紹介する。
  論文  参考訳（メタデータ） (2026-05-13T02:48:52Z)
• Multi-modal user interface control detection using cross-attention [6.850038413666062]
  GPT生成したUI画像のテキスト記述を検出パイプラインに統合するYOLOv5のマルチモーダル拡張を提案する。 提案するフレームワークを,23の制御クラスにまたがる16,000以上の注釈付きUIスクリーンショットの大規模なデータセット上で評価した。
  論文  参考訳（メタデータ） (2026-04-08T10:46:52Z)
• MURE: Hierarchical Multi-Resolution Encoding via Vision-Language Models for Visual Document Retrieval [111.99106496142474]
  Visual Document Retrieval (VDR)は、微細な視覚的詳細とグローバルな文書構造の両方をキャプチャする表現を必要とする。 既存のVDRモデルは、高解像度文書を処理する際に効率と効率のバランスをとるのに苦労する。 本稿では,X-VisEmbパラダイムを提案する。X-VisEmbパラダイムは,多分解能サンプリングと符号化から,粒度横断的特徴融合から適応的表現蒸留へと進展する。
  論文  参考訳（メタデータ） (2026-03-07T15:17:22Z)
• GEBench: Benchmarking Image Generation Models as GUI Environments [49.513441724802135]
  GUI生成における動的相互作用と時間的コヒーレンスを評価するためのベンチマークであるGEBenchを紹介する。 GE-Scoreは、ゴール達成、インタラクションロジック、コンテンツ一貫性、UIの可視性、視覚品質を評価する新しい5次元メトリックである。 そこで本研究では,アイコンの解釈,テキストレンダリング,局所化精度を重要なボトルネックとして認識した。
  論文  参考訳（メタデータ） (2026-02-09T18:52:02Z)
• UISearch: Graph-Based Embeddings for Multimodal Enterprise UI Screenshots Retrieval [1.3563834727527375]
  本稿では,UIスクリーンショットを階層関係や空間配置を符号化した属性グラフに変換するグラフベース表現を提案する。 対照的なグラフオートエンコーダは、視覚的、構造的、意味的な特性にまたがる多レベル類似性を保存する埋め込みを学習する。 この表現を,構成可能なクエリ言語による構造埋め込みとセマンティック検索を組み合わせたマルチモーダル検索フレームワークであるUISearchに実装する。
  論文  参考訳（メタデータ） (2025-11-24T18:20:08Z)
• Think Twice, Click Once: Enhancing GUI Grounding via Fast and Slow Systems [57.30711059396246]
  現在のグラフィカルユーザインタフェース(GUI)基盤システムは、自然言語命令に基づいてインターフェース要素を特定する。 人間の二重システム認識にインスパイアされたFocusは,高速予測と系統解析を組み合わせた新しいGUI基盤フレームワークである。
  論文  参考訳（メタデータ） (2025-03-09T06:14:17Z)
• Artificial intelligence for context-aware visual change detection in software test automation [5.182076496564637]
  ソフトウェアテスト自動化におけるコンテキスト認識型視覚変化検出のための新しいグラフベースのアプローチを提案する。 実世界のソフトウェアスクリーンショットのキュレートされたデータセットに対する我々のアプローチを評価し、単純かつ複雑なUI変更の両方を確実に検出できることを実証した。
  論文  参考訳（メタデータ） (2024-05-01T21:22:33Z)
• Computer User Interface Understanding. A New Dataset and a Learning Framework [2.4473568032515147]
  コンピュータUI理解の難しい課題を紹介します。 ユーザがアクションのシーケンスを実行しているビデオのセットでデータセットを提示し、各画像はその時点のデスクトップコンテンツを表示する。 また,データセットに関連する特徴を付加する合成サンプル生成パイプラインを構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-15T10:26:52Z)
• Multi-task Learning with 3D-Aware Regularization [55.97507478913053]
  本稿では,画像エンコーダから抽出した特徴を共有3D特徴空間に投影することで,複数のタスクをインタフェースする構造化3D認識正規化器を提案する。 提案手法はアーキテクチャ非依存であり,従来のマルチタスクバックボーンにプラグインすることで,性能を向上できることを示す。
  論文  参考訳（メタデータ） (2023-10-02T08:49:56Z)
• Closing the Loop: Graph Networks to Unify Semantic Objects and Visual Features for Multi-object Scenes [2.236663830879273]
  ループクロージャ検出(LCD)は、以前に訪れた場所を認識する際に、ドリフトを最小限に抑えるために必要である。 Visual Bag-of-Words (vBoW)は、多くの最先端SLAMシステムで選択されたLCDアルゴリズムである。 本稿では,セマンティックオブジェクトと視覚的特徴を共生的に統合する統合グラフ構造を構築するSymbioLCD2を提案する。
  論文  参考訳（メタデータ） (2022-09-24T00:42:33Z)
• Spatio-Temporal Representation Factorization for Video-based Person Re-Identification [55.01276167336187]
  本稿では、re-IDのための時空間表現分解モジュール(STRF)を提案する。 STRFはフレキシブルな新しい計算ユニットであり、re-IDのための既存のほとんどの3D畳み込みニューラルネットワークアーキテクチャと併用することができる。 実験により、STRFは様々なベースラインアーキテクチャの性能を向上し、新しい最先端の成果を示す。
  論文  参考訳（メタデータ） (2021-07-25T19:29:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。