論文の概要: From Interaction to Capability: Task Advancement as State and Supervision for GUI Agents
- arxiv url: http://arxiv.org/abs/2610.37482v1
- Date: Tue, 27 Oct 2026 16:09:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.687539
- Title: From Interaction to Capability: Task Advancement as State and Supervision for GUI Agents
- Title（参考訳）: インタラクションから能力へ:GUIエージェントの現状とスーパービジョンとしてのタスク向上
- Abstract要約: 本稿では,タスク進行をタスク進行の確認として定義するタスクメモリ(TAM)について紹介する。
TAMは進行中のタスク実行をサポートし、再利用可能な操作を学習する。
SPA-Benchでは、TAMはシングルアプリ英語レベル3設定で最先端のタスク成功を達成する。
- 参考スコア（独自算出の注目度）: 27.289620743989264
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GUI memory should preserve the results of past actions and learn reusable operations. This is difficult in long-horizon workflows, where agents must use information across applications and useful operations are interleaved with failed attempts. We introduce Task Advancement Memory (TAM), which defines task advancement as verified task progress, and supports ongoing task execution and learns reusable operations. During execution, Task Advancement State represents how verified task progress changes the remaining goals, allowing the agent to build on earlier achievements across applications. After each task, advancement supervision identifies and abstracts the interactions that produced a verified local result. The learned operations preserve the relation between required inputs, expected outcomes, and verification conditions. This retains locally successful operations from both successful and failed tasks. On MobileWorld GUI-only tasks, Advancement State alone raises success from 12.0% to 28.2%. Full TAM achieves a 17.6% relative gain in task success over the strongest evaluated baseline and reduces lifecycle tokens per solved task by 38.7%. On SPA-Bench, TAM achieves state-of-the-art task success in the single-app English Level 3 setting.
- Abstract（参考訳）: GUIメモリは過去のアクションの結果を保存し、再利用可能な操作を学習する必要がある。
エージェントはアプリケーション間で情報を使用しなければならず、有用な操作は失敗した試みとインターリーブされる。
本稿では,タスク前進メモリ(TAM)を紹介し,タスク進行を検証されたタスク進行と定義し,現在進行中のタスク実行をサポートし,再利用可能な操作を学習する。
実行中、タスク前進状態は、検証されたタスクの進捗が残りの目標をどのように変えるかを示し、エージェントはアプリケーション全体で以前の成果の上に構築できる。
各タスクの後、進行監視は、検証された局所的な結果を生み出す相互作用を識別し、抽象化する。
学習した操作は、必要な入力、期待された結果、検証条件の間の関係を保存する。
これは、成功したタスクと失敗したタスクの両方から、ローカルに成功したオペレーションを保持します。
MobileWorld GUIのみのタスクでは、Advancedment Stateだけで12.0%から28.2%に成功している。
フルTAMは、最も評価の高いベースラインよりも17.6%の相対的なタスク成功を実現し、解決されたタスク当たりのライフサイクルトークンを38.7%削減した。
SPA-Benchでは、TAMはシングルアプリ英語レベル3設定で最先端のタスク成功を達成する。
関連論文リスト
- SWE-Shift: Evaluating Coding Agents in Evolving Workspaces [59.99170893706881]
ソフトウェア開発では、エージェントが動作している間、コード、依存関係、ランタイム状態、要件が変更される可能性がある。
我々は,このような中間実行変化下でのコーディングエージェント評価のベンチマークであるSWE-Shiftを紹介する。
クリーンな成功よりもシフトの少ない17のコーディングエージェントシステムを評価した。
論文 参考訳（メタデータ） (2026-10-23T05:47:59Z) - From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation [90.66992093913662]
長距離タスクはマルコフに依存しない。
低レベルの実行から高レベルの計画を切り離す階層アーキテクチャを導入します。
本稿では,SERA(Self-Evolving Robotic Agent)として,VLAエグゼキュータを固定した手法を提案する。
論文 参考訳（メタデータ） (2026-10-21T10:49:49Z) - SkillHorizon: Constructing Long-Horizon Agent Tasks through Skill Composition [52.51270668013944]
ロングホライゾンエージェントは、後のアクティビティが以前の出力と共有状態の変更に依存するように完了しなければならない。
SkillHorizonは、7つのビジネス環境でのスキル構成を通じて長期タスクを構築するベンチマークである。
我々は,64Kから1Mトークンの参照インタラクションワークロードを用いた1,050タスクの5つの言語モデルを評価する。
論文 参考訳（メタデータ） (2026-10-10T14:36:39Z) - AgentEvolver: System-Wide Self-Evolution Through Task Execution [32.98364264400361]
本稿では,AgentEvolverについて紹介する。AgentEvolverは,基礎モデルを固定しながらタスク実行中に機能を開発するシステムである。
SWE-bench Pro Publicにおける課題成果を評価し、6つのアプリケーションケースにおける能力変化について検討する。
チームは82.08%の解像度で進化し、進化せずにベースラインを超えると報告している。
論文 参考訳（メタデータ） (2026-10-08T09:55:05Z) - LexiconVLA: Learning Reusable Atomic Action Codebooks for Unseen Tasks [52.045695649147966]
クロスタスク再利用のための検索可能な原子-作用レキシコンを提案する。
グローバルかつ詳細なコードブックは、共有インタラクション構造ときめ細かい実行のバリエーションをキャプチャする。
視覚-原子的行動アライメントは、視覚状態変化からの軌道再構成と、行動コードからの視覚的結果予測を結合する。
論文 参考訳（メタデータ） (2026-09-29T05:45:52Z) - EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents [56.25120535601186]
視覚言語アクション(VLA)モデルは、視覚観察と言語指示を直接ロボットアクションにマッピングする。
本稿では,各スキル決定を実行提案として扱うフレームワークであるEmbodiedSkillsを提案する。
共有可能スキルインタフェースは、ハイレベルスキル選択、バウンドローレベルVLA実行、ポストアクション検証を接続する。
論文 参考訳（メタデータ） (2026-09-01T14:14:47Z) - Inducing Task Models from Computer-Use Traces [50.6293197430374]
タスクモデルインジェクション(TMI)は、制約のないトレース内の潜在タスクを検出し、同時に動作を停止する。
TMIは、観測された実行ステップの74.9%を再構築している。
TMIのタスクモデルから得られたスキルは、最強のベースラインに対して、ホールドアウトタスクの精度を30.0%向上させる。
論文 参考訳（メタデータ） (2026-08-20T17:57:00Z) - Rethink Before You Execute: Adaptive Execution for World Action Models [29.76405877028887]
世界行動モデルは、将来の行動と環境の進化を共同で予測する。
この固定された実行の地平線は実行のダイナミクスとあまり一致していないと我々は主張する。
WAMのための軽量なプラグアンドプレイ実行方式であるTempoWAMを提案する。
論文 参考訳（メタデータ） (2026-08-10T11:59:42Z) - Anticipate & Act : Integrating LLMs and Classical Planning for Efficient Task Execution in Household Environments [16.482992646001996]
我々は,これらの課題を共同で達成する行動列を計算し,家庭内課題を予測するための枠組みを開発する。
今後の課題を考慮しないシステムと比較して,実行時間の31%削減を実証する。
論文 参考訳（メタデータ） (2025-02-04T07:31:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。