論文の概要: PrecogUI: Proactive GUI Agents via Pre-cognitive Simulation and Experience Retrieval

• arxiv url: http://arxiv.org/abs/2609.36923v1
• Date: Tue, 29 Sep 2026 07:41:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.288256
• Title: PrecogUI: Proactive GUI Agents via Pre-cognitive Simulation and Experience Retrieval
• Title（参考訳）: PrecogUI:事前認識シミュレーションと体験検索によるプロアクティブGUIエージェント
• Abstract要約: 既存のリアクティブなグラフィカルユーザインタフェース(GUI)エージェントは、長い水平な動的シナリオで失敗することが多い。 提案するPrecogUIは,パラダイムをリアクティブ実行から積極的な意思決定へとシフトさせる,事前認識型アーキテクチャである。 PrecogUIは、公開ベンチマーク上での競合性能を維持しながら、InterfereBenchの最先端メソッドを上回っている。
• 参考スコア（独自算出の注目度）: 29.8240144035952
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Existing reactive Graphical User Interface (GUI) agents often fail in long-horizon, dynamic scenarios, where unexpected disturbances trigger attention-diverting and cascading failures. To address this, we propose PrecogUI, a pre-cognitive architecture that shifts the paradigm from reactive execution to proactive decision-making. Specifically, we design a Proactive Experience Pool (PEP), which caches recurring anomaly and success patterns as "state-action-result" tuples in a dual-memory repository. Furthermore, we introduce a Proactive Simulation Executor (PSE) that learns to forecast the next symbolic UI layout given a candidate action, enabling early anomaly avoidance and ranking candidate actions by predicted reliability. Finally, a Pre-cognitive Execution Controller (PEC) fuses these priors and predictions, prioritizes handling of foreseen anomalies, and ensures execution robustness through a closed-loop error correction mechanism. For robust evaluation, we develop AutoTraj, an automatic data-generation engine, to construct InterfereBench, a benchmark for long-horizon tasks with strong disturbances. Experiments demonstrate that PrecogUI surpasses state-of-the-art methods on InterfereBench while maintaining competitive performance on public benchmarks. The code will be publicly available.
• Abstract（参考訳）: 既存のリアクティブなグラフィカルユーザインタフェース(GUI)エージェントは、予期せぬ障害が注意方向転換とカスケード障害を引き起こすような、長い水平な動的シナリオで失敗することが多い。 この問題に対処するために,リアクティブな実行から積極的な意思決定へとパラダイムをシフトする,事前認識型アーキテクチャであるPrecogUIを提案する。 具体的には、再帰する異常と成功パターンを、二重メモリリポジトリ内の"状態-アクション-再帰"タプルとしてキャッシュするProactive Experience Pool(PEP)を設計する。 さらに,予測信頼性により早期の異常回避とランク付けが可能なPSE (Proactive Simulation Executor) を導入し,次のシンボルUIレイアウトの予測を学習する。 最後に、PEC(Pre-cognitive Execution Controller)は、これらの先行と予測を融合させ、前兆異常の処理を優先し、クローズドループエラー訂正機構による実行の堅牢性を確保する。 頑健な評価のために,高速なデータ生成エンジンであるAutoTrajを開発し,強い障害を伴う長期タスクのベンチマークであるInterfereBenchを構築した。 PrecogUIは、公開ベンチマーク上での競合性能を維持しながら、InterfereBenchの最先端メソッドを上回っている。 コードは公開されます。

関連論文リスト

• Recommendation World Models for Future-State Control [53.191633845200876]
  我々は、訓練されたランク付け者が将来の結果についての意思決定を支援する方法について研究する。 UA-TWM(UA-TWM)は,近傍のスレート動作を構成するユーティリティアンコールなワールドモデルインタフェースである。 本研究は,MovieLens-25MとKuaiRand-Pureにおける12の逐次バックボーン間の移動と,KuaiSimにおけるターゲット指向インタラクションの繰り返しを評価する。
  論文  参考訳（メタデータ） (2026-09-25T02:37:48Z)
• From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
  大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。 最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。 縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。 IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-08-03T12:52:04Z)
• FutureRTC: Real-Time Robot Execution with Anticipatory-Conditioned Action Chunking [51.97839311685636]
  FutureRTCは、実行時の観察と非同期VLA制御の状態を予測するためのプラグイン・アンド・プレイ適応フレームワークである。 FutureRTCは推論遅延に対する堅牢性を実現し,よりスムーズな軌道,高速な実行,一貫したタスク成功率を実現している。
  論文  参考訳（メタデータ） (2026-07-27T05:10:16Z)
• TRAFA: Anticipating User Actions to Reduce Errors in Procedural Tasks with Predictive Feedback [20.81220736856844]
  本稿では,プロシージャタスクのためのリアルタイム予測フィードバックシステムTRAFAを提案する。 TRAFAはTrack-Forecast-Actフレームワークを通じて予測フィードバックを運用する。 その結果,予測フィードバックはタスクの正確性や効率性を向上することがわかった。
  論文  参考訳（メタデータ） (2026-05-23T11:29:15Z)
• Agentic Metacognition: Designing a "Self-Aware" Low-Code Agent for Failure Prediction and Human Handoff [0.0]
  自律エージェントの非決定論的性質は信頼性の課題を示す。 二次的な「メタ認知」層は一次LCNC剤を活発に監視する。 人間のイントロスペクションにインスパイアされたこのレイヤは、差し迫ったタスクの失敗を予測するように設計されている。
  論文  参考訳（メタデータ） (2025-09-24T06:10:23Z)
• A Unified Framework for Real-Time Failure Handling in Robotics Using Vision-Language Models, Reactive Planner and Behavior Trees [1.3481665321936716]
  本稿では,リアクティブプランナであるVLM(Vision-Language Models)とBT(Behavior Trees)を組み合わせて,リアルタイムの障害処理を実現する,統合された障害復旧フレームワークを提案する。 当社のアプローチには、実行前の潜在的な障害をチェックする事前実行検証と、実行中の障害を検出し修正するリアクティブ障害処理が含まれている。 我々は、ペグ挿入、オブジェクトソート、引き手の配置といったタスクにおいて、ABB YuMiロボットを用いた実世界の実験を通して、我々のフレームワークを評価する。
  論文  参考訳（メタデータ） (2025-03-19T13:40:56Z)
• Planning with Adaptive World Models for Autonomous Driving [50.4439896514353]
  マルチエージェントインタラクションをキャプチャする実世界のモーションプランニングベンチマークであるnuPlanを提案する。 我々は、グラフ畳み込みニューラルネットワーク(GCNN)であるBehaviorNetを用いて、このようなユニークな振る舞いをモデル化することを学ぶ。 また、モデル予測制御(MPC)ベースのプランナであるAdaptiveDriverについても紹介する。
  論文  参考訳（メタデータ） (2024-06-15T18:53:45Z)
• Instance-Aware Predictive Navigation in Multi-Agent Environments [93.15055834395304]
  エージェント間の相互作用と将来のシーン構造を予測するIPC(Instance-Aware Predictive Control)アプローチを提案する。 我々は,ego中心の視点でエージェント間のインタラクションを推定するために,新しいマルチインスタンスイベント予測モジュールを採用する。 シーンレベルとインスタンスレベルの両方の予測状態をより有効活用するために、一連のアクションサンプリング戦略を設計します。
  論文  参考訳（メタデータ） (2021-01-14T22:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。