論文の概要: SEE: Structure-aware Exploring \& Exploiting for Long-horizon GUI Agent Trajectory Synthesis
- arxiv url: http://arxiv.org/abs/2607.18046v1
- Date: Mon, 20 Jul 2026 15:16:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.674379
- Title: SEE: Structure-aware Exploring \& Exploiting for Long-horizon GUI Agent Trajectory Synthesis
- Title（参考訳）: SEE:Long-Horizon GUI Agent Trajectory Synthesisのための構造認識探索
- Abstract要約: GUIエージェントのためのグラフベースのデータ合成フレームワークであるSEEを提案する。
様々な多段階の軌道を計画と制御されたサンプリングによって構成する。
平均的な長さ14.8歩の軌道を発生し、急なループを避けている。
合成コードとデータセットを公開します。
- 参考スコア（独自算出の注目度）: 25.054692366089842
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graphical User Interface (GUI) agents powered by vision-language models hold promise for automating real-world mobile tasks. However, progress is limited by the lack of high-coverage, long-horizon interaction trajectories collected from element-rich and rapidly evolving apps. Existing pipelines often rely on costly human demonstrations or on-policy framework, which tends to over-sample common flows while missing rare transitions and complex multi-step procedures. To address this problem, we propose SEE, a two-stage data synthesis framework consisting of (i) an efficient exploration stage that builds an explicit UI transition graph over screens and elements, and (ii) a graph-based synthesis stage that composes diverse multi-step trajectories via planning and controlled sampling. This design yields reproducible and explainable data generation, while explicitly preventing spurious cycles and enabling long-horizon composition. Across multiple real-world apps, SEE produces trajectories with an average length of 14.8 steps while avoiding spurious loops, and agents fine-tuned on SEE achieve improved task success and generalization to unseen screens. We will publicly release our synthesis code and dataset.
- Abstract（参考訳）: 視覚言語モデルを利用したグラフィカルユーザインタフェース(GUI)エージェントは、現実のモバイルタスクを自動化することを約束する。
しかし、進歩は、要素豊かで急速に進化するアプリから収集された、高被覆で長い水平相互作用の軌跡の欠如によって制限されている。
既存のパイプラインは、しばしばコストのかかる人間のデモや、通常のフローをオーバーサンプリングする傾向にあり、稀なトランジションや複雑なマルチステップ手順を欠いている。
この問題に対処するため、我々は2段階のデータ合成フレームワークであるSEEを提案する。
(i)画面や要素に対して明示的なUI遷移グラフを構築する効率的な探索段階、及び
(II) 様々な多段階軌道を構成するグラフベースの合成段階を計画・制御サンプリングにより構成する。
この設計は再現可能で説明可能なデータ生成を実現し、スプリアスサイクルを明示的に防止し、長い水平合成を可能にする。
複数の現実世界のアプリケーション全体で、SEEは平均14.8ステップの軌道を製造し、スプリアスループを回避し、SEEで微調整されたエージェントはタスクの成功と未確認画面への一般化を実現している。
合成コードとデータセットを公開します。
関連論文リスト
- A Task-State Representation for Long-Horizon Mobile GUI Agents [53.359524744953575]
Task-State Representation (TSR)は、感覚入力からタスク状態を明示的に分離する、トレーニング不要のフレームワークである。
4つのモバイルGUIベンチマークによる実験では、TSRの有効性が検証され、成功率が12ポイントまで向上した。
論文 参考訳（メタデータ） (2026-07-01T06:37:21Z) - Towards Long-horizon Agentic Multimodal Search [109.0092257657625]
本稿では,LMM-Searcher という,ファイルベースの視覚的表現機構を中心とした新しい多モード深層検索フレームワークを提案する。
エージェントに調整されたフェッチ・イメージ・ツールを装備し、能動的知覚のためのプログレッシブでオンデマンドなビジュアル・ローディング・ストラテジーを実現する。
提案手法は,100ターンの探索地平線へのスケールアップに成功し,オープンソースモデル間の最先端性能を実現した。
論文 参考訳（メタデータ） (2026-04-14T15:40:28Z) - Wan-Weaver: Interleaved Multi-modal Generation via Decoupled Training [68.94182767962914]
プランナとビジュアライザで構成されるフレームワークを導入する。
ビジュアライザは画像の合成を行うのに対し、プランナーはビジュアルコンテンツのための密集したテキスト記述を生成する。
これらのデザインは、長距離テキストコヒーレンスと視覚的一貫性を備えた創発的なインターリーブ生成能力を示すWan-Weaverを生み出している。
論文 参考訳（メタデータ） (2026-03-26T17:50:37Z) - Sketch2Simulation: Automating Flowsheet Generation via Multi Agent Large Language Models [0.0]
プロセススケッチを実行可能なシミュレーションモデルに変換することは、プロセスシステム工学において依然として大きなボトルネックとなっている。
生成AIの最近の進歩は、エンジニアリングダイアグラムの解釈とフローシートの生成の両方を改善してきたが、これらはほとんど接続されていない。
本稿では,プロセス図を直接実行可能なAspen HYSYSフローシートに変換する,エンドツーエンドのマルチエージェント大規模言語モデルを提案する。
論文 参考訳（メタデータ） (2026-03-25T03:36:46Z) - ANCHOR: Branch-Point Data Generation for GUI Agents [52.22377425487]
デスクトップ環境向けのエンドツーエンドGUIエージェントは、大量の高品質なインタラクションデータを必要とする。
本稿では,拡張フレームワークであるAnchorについて紹介する。このフレームワークは,小規模で検証済みのシードデモから,スケーラブルなデスクトップ監視をブートストラップする。
OSWorldとWindowsAgentArenaの標準デスクトップベンチマークの実験では、拡張されたコーパスに微調整されたモデルが一貫した改善を実現している。
論文 参考訳（メタデータ） (2026-02-06T19:55:26Z) - EEO-TFV: Escape-Explore Optimizer for Web-Scale Time-Series Forecasting and Vision Analysis [6.82200201381917]
トランスフォーマーベースの基礎モデルは、時系列予測や画像セグメント化といったタスクにおいて顕著な進歩を遂げている。
彼らは多変量長周期予測におけるエラーの蓄積に悩まされ、画像関連タスクにおけるアウト・オブ・ディストリビューション・サンプルに対する脆弱性を示す。
本稿では,新しいEscape-Explore(EEO)とともに軽量トランスフォーマーアーキテクチャを提案する。
論文 参考訳（メタデータ） (2026-01-30T09:30:16Z) - PlotCraft: Pushing the Limits of LLMs for Complex and Interactive Data Visualization [82.96200364977737]
PlotCraftは、1kの挑戦的な視覚化タスクを特徴とする新しいベンチマークだ。
PlotCraftは7つのハイレベルな視覚化タスクを中心に構成されており、48の異なるチャートタイプを含んでいる。
単一ターン生成と多ターン改善の両方を多種多様なタスク複雑度にわたって体系的に評価するのは、これが初めてである。
論文 参考訳（メタデータ） (2025-10-15T10:14:39Z) - GUI-ReWalk: Massive Data Generation for GUI Agent via Stochastic Exploration and Intent-Aware Reasoning [11.909652592163896]
GUI-ReWalkは、現実的で多様なGUIトラジェクトリを合成するための多段階フレームワークである。
GUI-ReWalkは、ランダム性と構造に対するゴール認識推論を組み合わせることで、人間のコンピュータインタラクションの意図認識、適応性をよりよく反映したデータを生成する。
その結果、GUI-ReWalkは、多様な相互作用フロー、より高い軌道エントロピー、よりリアルなユーザインテントのカバレッジを向上できることを示した。
論文 参考訳（メタデータ） (2025-09-19T08:09:18Z) - FantasyHSI: Video-Generation-Centric 4D Human Synthesis In Any Scene through A Graph-based Multi-Agent Framework [10.386464385736842]
HSI(Human-Scene Interaction)は、複雑な環境の中で現実的な人間の行動を生成する。
HSIは、長期の高レベルのタスクの処理と、見えないシーンへの一般化において、課題に直面している。
本稿では,ビデオ生成とマルチエージェントシステムを中心とした新しいHSIフレームワークであるFantasyHSIを紹介する。
論文 参考訳（メタデータ） (2025-09-01T08:20:50Z) - AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials [53.376263056033046]
既存のアプローチは高価な人間のアノテーションに依存しており、大規模には持続不可能である。
本稿では,Webエージェントトラジェクトリを生成するスケーラブルなデータ合成パイプラインであるAgentTrekを提案する。
完全に自動化されたアプローチは、データ収集コストを大幅に削減し、人間のアノテータを使わずに、高品質な軌道を0.55ドルに抑えることができます。
論文 参考訳（メタデータ） (2024-12-12T18:59:27Z) - Unifying Short and Long-Term Tracking with Graph Hierarchies [0.0]
統合されたスケーラブルなマルチオブジェクトトラッカーであるSUSHIを紹介する。
我々のアプローチは、長いクリップをサブクリップの階層に分割することで処理し、高いスケーラビリティを実現する。
グラフニューラルネットワークを活用して階層のすべてのレベルを処理します。
論文 参考訳（メタデータ） (2022-12-06T15:12:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。