論文の概要: Learning Reliable GUI Agents under Imperfect Priors

• arxiv url: http://arxiv.org/abs/2609.39547v1
• Date: Wed, 30 Sep 2026 11:45:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.62766
• Title: Learning Reliable GUI Agents under Imperfect Priors
• Title（参考訳）: 不完全な事前条件下での信頼性の高いGUIエージェントの学習
• Abstract要約: GUIエージェントは完璧な知識を追求するのではなく、不完全な事前の下で正しく行動することを学ぶべきだと我々は主張する。 構造化された探索戦略は、対話的な要素をトラバースし、UIの状態遷移グラフを構築し、人間のアノテーションなしでVLMを介して(タスク、軌道)ペアを合成する。 ノイズアウェアトレーニング戦略は、5種類の現実的誤りを自己探索軌道に注入し、エージェントに行動前に事前の信頼性を評価するように教える。
• 参考スコア（独自算出の注目度）: 38.09245403941059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GUI agents built on large language and vision-language models still struggle on unseen applications and complex multi-step tasks, as completing real GUI tasks depends on app-specific, temporally volatile operational knowledge that is scarce in pretraining corpora. Retrieval-augmented execution offers a natural remedy but faces two coupled bottlenecks: knowledge at scale is hard to acquire, and self-collected priors inevitably drift from the live environment due to version updates, promotions, ads, A/B tests, and personalization. We therefore argue that GUI agents should not pursue perfect knowledge but learn to act correctly under imperfect priors, and propose our framework that couples knowledge acquisition with noise-robust utilization: a structured exploration strategy traverses interactive elements, builds a UI state-transition graph, and synthesizes (task, trajectory) pairs via a VLM without human annotation; a noise-aware training strategy, grounded in a taxonomy of real GUI drift patterns, injects five types of realistic errors into self-explored trajectories to teach the agent to assess prior reliability before acting. Experiments on physical devices and online emulator benchmarks show that our method discovers more unique screens, covers more benchmark tasks, and more effectively rejects erroneous priors while leveraging correct ones, with accuracy gains that transfer across datasets.
• Abstract（参考訳）: 大規模な言語と視覚言語モデル上に構築されたGUIエージェントは、実際のGUIタスクの完了は、事前学習のコーパスに不足するアプリ固有の時間的変動的な操作知識に依存するため、まだ見知らぬアプリケーションや複雑なマルチステップタスクに苦慮している。 Retrieval-augmented executionは自然な治療を提供するが、2つのボトルネックに直面している: スケールでの知識は取得が困難であり、自己コンパイルされた事前は、バージョン更新、プロモーション、広告、A/Bテスト、パーソナライゼーションによって、必然的にライブ環境から逸脱する。 構造化された探索戦略は,対話的要素を横断し,UI状態遷移グラフを構築し,VLMを介して(タスク,トラジェクトリ)ペアを合成する;ノイズ認識学習戦略は,実際のGUIドリフトパターンの分類に基礎を置き,現実的な5種類の誤りを自己探索された軌跡に注入し,エージェントに行動前の信頼性を評価する。 物理デバイスとオンラインエミュレータベンチマークの実験により、我々の手法は、よりユニークなスクリーンを発見し、より多くのベンチマークタスクをカバーし、より効果的に不正な事前を拒否し、正しいものを活用し、データセット間で転送する精度の高いゲインを示す。

関連論文リスト

• EchoTrail-GUI: Building Actionable Memory for GUI Agents via Critic-Guided Self-Exploration [16.593979443102754]
  エージェントに動的にアクセス可能なメモリを装備することで、人間のような体験学習を模倣する新しいフレームワークであるEchoTrail-GUIを紹介する。 まず、エージェントがGUI環境と自律的に対話して、成功しているタスク軌跡のキュレートされたデータベースを構築し、報酬モデルで検証する。 第2に、メモリインジェクションの段階では、新しいタスクを受信すると、最も関連性の高い過去の軌跡を効率よく検索して「記憶」として機能させる。 第3に、GUIタスク推論において、これらの記憶は、エージェントの推論と意思決定プロセスに通知するためのコンテキスト内ガイダンスとして注入される。
  論文  参考訳（メタデータ） (2025-12-22T13:42:18Z)
• Look Before You Leap: A GUI-Critic-R1 Model for Pre-Operative Error Diagnosis in GUI Automation [83.92224427735859]
  実際の実行に先立って効果的なフィードバックを提供する事前の批判機構を導入する。 そこで我々は,GUI-Critic-TrainとGUI-Critic-Testを作成するために,推論ブートストラップに基づくデータ収集パイプラインを開発した。 我々のモデルは、現在のMLLMと比較して、批評家の精度に大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-06-05T04:12:36Z)
• ReGUIDE: Data Efficient GUI Grounding via Spatial Reasoning and Search [53.40810298627443]
  ReGUIDEは、MLLMが自己生成的推論と空間認識的批判を通じてデータを効率的に学習することを可能にするWebグラウンドのためのフレームワークである。 実験により、ReGUIDEは複数のベンチマークでWebグラウンド性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-05-21T08:36:18Z)
• A Unified Framework for Real-Time Failure Handling in Robotics Using Vision-Language Models, Reactive Planner and Behavior Trees [1.3481665321936716]
  本稿では,リアクティブプランナであるVLM(Vision-Language Models)とBT(Behavior Trees)を組み合わせて,リアルタイムの障害処理を実現する,統合された障害復旧フレームワークを提案する。 当社のアプローチには、実行前の潜在的な障害をチェックする事前実行検証と、実行中の障害を検出し修正するリアクティブ障害処理が含まれている。 我々は、ペグ挿入、オブジェクトソート、引き手の配置といったタスクにおいて、ABB YuMiロボットを用いた実世界の実験を通して、我々のフレームワークを評価する。
  論文  参考訳（メタデータ） (2025-03-19T13:40:56Z)
• Aguvis: Unified Pure Vision Agents for Autonomous GUI Interaction [69.57190742976091]
  Aguvisは、自律的なGUIエージェントのためのビジョンベースのフレームワークである。 クロスプラットフォームのインタラクションを標準化し、内部モノローグによる構造化推論を取り入れている。 オフラインおよび実世界のオンラインベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:26Z)
• Online Continual Learning For Interactive Instruction Following Agents [20.100312650193228]
  このような学習シナリオは,ロボットエージェントが世界を探索し,知覚する上で,継続的に世界を学ぶことが求められているため,現実的ではない,と我々は主張する。 本研究では,新しい行動学習と新しい環境学習という,エンボディエージェントのための2つの連続学習環境を提案する。
  論文  参考訳（メタデータ） (2024-03-12T11:33:48Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。