論文の概要: ATGBuilder: Feature-Assisted Graph Learning for Activity Transition Graph Construction with Seed Supervision
- arxiv url: http://arxiv.org/abs/2606.27080v1
- Date: Thu, 25 Jun 2026 14:19:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.319084
- Title: ATGBuilder: Feature-Assisted Graph Learning for Activity Transition Graph Construction with Seed Supervision
- Title（参考訳）: ATGBuilder: シードスーパービジョンによる活動遷移グラフ構築のための特徴支援グラフ学習
- Abstract要約: アクティビティトランジショングラフ(ATG)は、アプリのGUIナビゲーションをモデル化するために広く使用されている。
近年の学習に基づくアプローチは、ATG構築をシード管理リンク予測として扱うことができる。
シード管理型ATG構築のための特徴支援グラフ学習手法であるATGBuilderを提案する。
- 参考スコア（独自算出の注目度）: 9.897075576973604
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Android applications are organized around activities that provide visual Graphical User Interface (GUI) containers that host the UI and handle user interaction events. Activity Transition Graphs (ATGs) have been widely used to model apps' GUI navigation. However, the construction of high-quality ATGs is challenging: ATGs based on static analysis may miss acceptable transitions and may extract infeasible ones; while dynamically explored ATGs can yield incomplete transitions. Recent learning-based approaches can treat ATG construction as a seed-supervised link-prediction task. However, the use of activity-layout and widget-trigger information for ATG construction remains limited. We propose ATGBuilder, a feature-assisted graph-learning approach for seed-supervised ATG construction. ATGBuilder uses a Large Language Model (LLM) to summarize UI activity metadata from layouts into compact textual functionality summaries. ATGBuilder explicitly models widget-trigger information into the edge attribute: It then uses an auxiliary widget-attribute reconstruction objective on this information during model training. ATGBuilder's performance was evaluated across a series of ablations on the frontmatter corpus, and an experiment on benchmark using manually-checked ground-truth ATGs. Experiments on multiple benchmarks show that ATGBuilder significantly outperforms state-of-the-art methods. We further demonstrate its effectiveness by improving automated GUI exploration tools through better navigation guidance.
- Abstract（参考訳）: Androidアプリケーションは、UIをホストし、ユーザーインタラクションイベントを処理するビジュアルなグラフィカルユーザインタフェース(GUI)コンテナを提供するアクティビティを中心に構成されている。
アクティビティトランジショングラフ(ATG)は、アプリのGUIナビゲーションをモデル化するために広く使用されている。
しかし、高品質のATGの構築は困難である:静的解析に基づくATGは許容可能な遷移を見逃し、実現不可能な遷移を抽出するかもしれない;一方、動的に探索されたATGは不完全遷移をもたらす。
近年の学習に基づくアプローチでは、ATG構築をシード管理リンク予測タスクとして扱うことができる。
しかし,ATG構築におけるアクティビティ・レイアウトとウィジェット・トリガー情報の利用は依然として限られている。
シード管理型ATG構築のための特徴支援グラフ学習手法であるATGBuilderを提案する。
ATGBuilderはLarge Language Model (LLM)を使用してレイアウトからコンパクトなテキスト機能要約にUIアクティビティメタデータを要約する。
ATGBuilderは、エッジ属性にウィジェットトリガー情報を明示的にモデル化する。
ATGBuilderの性能は、フロントマッターコーパスの一連の改善と、手動で検査された接地型ATGを用いたベンチマークで評価された。
複数のベンチマークの実験では、ATGBuilderは最先端のメソッドよりも大幅に優れていた。
さらに、ナビゲーションガイダンスの改善により、自動GUI探索ツールの改善により、その効果を実証する。
関連論文リスト
- Atomic Task Graph: A Unified Framework for Agentic Planning and Execution [13.978062792065215]
Atomic Task Graph (ATG) は、計画と実行のための統一された制御フレームワークである。
ATGは依存関係を公開するための明示的なグラフを維持し、再利用をサポートする。
ATGは、成功率と実行効率の強いベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-07-02T09:34:20Z) - UI-KOBE: Knowledge-Oriented Behavior Exploration for Lightweight Graph-Guided GUI Agents [33.89954113101281]
アプリケーション固有のグラフ知識を再利用して軽量なモバイルGUIエージェントを改善するフレームワークを提案する。
アプリ固有のグラフガイダンスで実行時の決定をサポートすることで、UI-KOBEはエンドツーエンドのGUI計画の負担を軽減する。
論文 参考訳（メタデータ） (2026-05-28T07:49:09Z) - GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction [34.37697471424965]
本稿では,230万のパラメータしか持たない軽量GUI素子であるGoClickについて紹介する。
実験の結果,GoClickは複数のGUI要素のグラウンドベンチマークに優れ,小さなサイズと高い推論速度を維持していることがわかった。
論文 参考訳（メタデータ） (2026-04-27T01:29:02Z) - AutoGraph-R1: End-to-End Reinforcement Learning for Knowledge Graph Construction [60.51319139563509]
強化学習(RL)を用いたタスクパフォーマンスのKG構築を直接最適化する最初のフレームワークであるAutoGraph-R1を紹介する。
我々は2つの新しいタスク対応報酬関数を設計し、1つは知識担体としてのグラフと、もう1つは知識指標としてのグラフを設計する。
私たちの研究は、構築とアプリケーションの間のループを閉じることが可能であることを示している。
論文 参考訳（メタデータ） (2025-10-17T06:03:36Z) - AutoGUI: Scaling GUI Grounding with Automatic Functionality Annotations from LLMs [54.58905728115257]
そこで本稿では,UI要素に詳細な機能記述を自動アノテートする textbfAutoGUI パイプラインを提案する。
提案したパイプラインを用いて高品質なAutoGUI-704kデータセットを構築し,多種多様な機能アノテーションを特徴とする。
我々のデータセットは、VLMのUIグラウンド機能を大幅に強化し、大きなスケーリング効果を示す。
論文 参考訳（メタデータ） (2025-02-04T03:39:59Z) - Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。
クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。
オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-12-05T18:58:26Z) - AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents [45.644265025493276]
我々は,モバイルシナリオにおけるAIエージェントの研究を進めるために,Android Multi-Annotation EXpo (AMEX)を紹介した。
AMEXは、人気のあるモバイルアプリケーションの104万以上の高解像度スクリーンショットで構成されており、複数のレベルで注釈付けされている。
我々は、既存のデータセットの一般的な設定を補完し、より教育的かつ詳細な視点からこのデータセットを開発する。
論文 参考訳（メタデータ） (2024-07-03T17:59:58Z) - Android in the Zoo: Chain-of-Action-Thought for GUI Agents [38.07337874116759]
この研究は、前回のアクション、現在のスクリーン、さらに重要なことは、どのアクションを実行するべきか、選択されたアクションによって導かれる結果について、アクション思考を記述する、Chain-of-Action-Thought (dubed CoAT)を提示する。
我々は,3つの既成LMMのゼロショット設定において,CoATは従来のコンテキストモデルと比較して,動作予測を大幅に改善することを示した。
このラインでの研究をさらに促進するために,AitZ(Android-In-The-Zoo)という,18,643のスクリーンアクションペアとチェーン・オブ・アクションを組み合わせたデータセットを構築した。
論文 参考訳（メタデータ） (2024-03-05T07:09:35Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - Temporal Graph Benchmark for Machine Learning on Temporal Graphs [54.52243310226456]
テンポラルグラフベンチマーク(TGB)は、困難で多様なベンチマークデータセットのコレクションである。
各データセットをベンチマークし、共通のモデルのパフォーマンスがデータセット間で大きく異なることを発見した。
TGBは、再現可能でアクセス可能な時間グラフ研究のための自動機械学習パイプラインを提供する。
論文 参考訳（メタデータ） (2023-07-03T13:58:20Z) - End-to-end Temporal Action Detection with Transformer [86.80289146697788]
時間的アクション検出(TAD)は、トリミングされていないビデオにおいて、すべてのアクションインスタンスのセマンティックラベルとバウンダリを決定することを目的としている。
そこで我々は,textitTadTR と呼ばれる Transformer によるTAD のエンドツーエンドフレームワークを構築した。
本手法は,HACSセグメンツとTHUMOS14の最先端性能とActivityNet-1.3の競合性能を実現する。
論文 参考訳（メタデータ） (2021-06-18T17:58:34Z) - Segmented Graph-Bert for Graph Instance Modeling [10.879701971582502]
グラフインスタンス表現学習における Graph-BERT の有効性について検討する。
本稿では,SEG-BERTと呼ばれるセグメントアーキテクチャで再設計する。
7つのグラフ・インスタンス・ベンチマーク・データセットを用いてSEG-BERTの有効性を検証した。
論文 参考訳（メタデータ） (2020-02-09T04:55:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。