論文の概要: UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations
- arxiv url: http://arxiv.org/abs/2608.15930v1
- Date: Sun, 16 Aug 2026 20:59:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.472821
- Title: UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations
- Title（参考訳）: UI-Mate: インテクストによるオープンウェイトファウンデーションGUIエージェントの強化
- Abstract要約: UI-Mateは、環境に根ざしたトレーニングスタックとコンテキスト内の実演学習を統合する基盤GUIエージェントである。
OSWorldでは77.0%、WindowsAgentArenaでは66.2%と評価された。
- 参考スコア（独自算出の注目度）: 68.29650478987561
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation GUI agents can automate complex digital tasks, but deployment is hindered by scarce and biased training data, ambiguous prompts, and unreliable execution. Routine workflows rely on user-specific tools and tacit conventions, so unstated instructions can produce arbitrary variations across runs. We present UI-Mate, a foundation GUI agent that integrates an environment-grounded training stack with in-context demonstration learning. UI-Mate makes three contributions: A Scalable Environment-Grounded Training Stack: A closed-loop data engine automates task generation, environment construction, rollout, filtering, capability balancing, SFT, and online RL across massively parallel environments via unified task-verifier bundles. In-Context Demonstration Learning: A mechanism that transforms multimodal demonstrations into flexible subtask-level workflows, follows relevant demonstrated steps, and re-plans from the live interface. OSWorkerBench Benchmark and Insights: A benchmark of 100 long-horizon office tasks across 41 applications that supports instruction-only and demonstration-guided evaluation. Its demonstration resources separate a 33-task self-demo setting, built from successful strong-agent rollouts of the same targets, from a 45-task variant-demo setting, built from human recordings of related but non-identical tasks. Experiments show that UI-Mate-27B sets a new open-weight state of the art on general computer-use benchmarks, scoring 77.0% on OSWorld-Verified and 66.2% on WindowsAgentArena. On OSWorkerBench, it reaches 41.0% strict success and 76.9% progress, outperforming its Qwen3.6-27B base by 17.7 and 24.5 points. On the 33-task self-demo subset, one demonstration raises strict success from 17.2% to 35.4% and progress from 67.9% to 81.1%, substantially improving long-horizon reliability. Project page: https://ui-mate.github.io.
- Abstract（参考訳）: ファンデーションGUIエージェントは複雑なデジタルタスクを自動化することができるが、デプロイには不足とバイアスのあるトレーニングデータ、曖昧なプロンプト、信頼性の低い実行が妨げられている。
ルーチンワークフローはユーザ固有のツールや暗黙の規則に依存しているため、予測されていない命令は実行中に任意のバリエーションを生成できる。
UI-Mateは,環境に根ざしたトレーニングスタックとコンテキスト内実演学習を統合した基礎的なGUIエージェントである。
UI-Mateは3つの貢献をしている。 A Scalable Environment-Grounded Training Stack: クローズドループのデータエンジンは、タスク生成、環境構築、ロールアウト、フィルタリング、機能バランシング、SFT、オンラインRLを、統合されたタスク検証バンドルを通じて、巨大な並列環境にわたって自動化します。
In-Context Demonstration Learning: マルチモーダルなデモをフレキシブルなサブタスクレベルのワークフローに変換するメカニズム。
OSWorkerBench Benchmark and Insights: インストラクションのみとデモガイドによる評価をサポートする41のアプリケーションを対象とした,100の長期オフィスタスクのベンチマーク。
デモ資料では、同じターゲットの強力なエージェントによるロールアウトを成功させた33タスクのセルフデモ設定と、関連するが識別できないタスクの人間記録から構築された45タスクの変種デモ設定を分離している。
実験の結果、UI-Mate-27Bは、OSWorld-Verifiedで77.0%、WindowsAgentArenaで66.2%という、新しいオープンウェイトなステート・オブ・ザ・アートを一般的なコンピュータ・ユース・ベンチマークで設定した。
OSWorkerBenchでは、41.0%の厳密な成功と76.9%の進歩を達成し、Qwen3.6-27Bベースを17.7と24.5ポイント上回った。
33タスクのセルフデモでは、17.2%から35.4%、67.9%から81.1%に格段に成功し、長期の信頼性が大幅に向上した。
プロジェクトページ: https://ui-mate.github.io
関連論文リスト
- EvoGenUI-Bench: Evaluating LLMs as Multi-Turn Generative UI Assistants [10.510136510866099]
大規模な言語モデルはインタラクティブなWebインターフェースを生成することができるが、ユーザ要求が進化するにつれて、信頼できる生成UIは実行可能なアーティファクトを維持する必要がある。
我々はEvoGenUI-Benchを紹介した。EvoGenUI-Benchは150の5ターンタスクと750のターンを3つのシナリオに分けたマルチターンインタフェースメンテナンスのベンチマークである。
生成されたアーティファクトをブラウザで実行し、スクリーンショット、ソースおよびDOMエビデンス、アクタートレース、実行時ログを使用して評価します。
論文 参考訳（メタデータ） (2026-08-29T17:54:02Z) - ASIL: Replacing Screenshot-and-Click with Structured State and Semantic Actions [10.090084621839088]
我々は、スクリーンショット・アンド・クリックはソフトウェア操作エージェントの非効率なインターフェースであると主張している。
我々は,構造化スクリーンショット観察とコード実行可能なセマンティックアクションを通じてソフトウェアを公開するエージェントネイティブインターフェースであるASILを紹介する。
ASILはクローズドモデルで80以上まで到達し、タスク毎に5つ未満のアクションを実行する。
論文 参考訳（メタデータ） (2026-08-27T11:38:19Z) - Qwen-CUA: Native Computer Use for (almost) Everything [104.78368489343713]
本稿では,Qwen-CUAについて紹介する。
DOMツリー、アクセシビリティメタデータ、タスク固有のAPIなしで、スクリーンショットのみを観察し、キーボードやマウスのイベントを通じて動作します。
足場は最大20個のアクティブなスクリーンショットを保持し、最近の証拠を保持するために固定サイズのブロックで古い視覚履歴を折り畳む。
論文 参考訳（メタデータ） (2026-08-03T15:04:20Z) - Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents [27.09949595397669]
Qwen-UI-Agentは、モバイル、コンピュータ利用、Web、DeepSearch環境にまたがる現実世界のファンデーションGUIエージェントである。
統一されたアクション空間はGUI操作とCLIの実行をインターリーブし、単一のモデルターンでバッチアクションを生成する。
オンラインRLは100回を超える軌道のトレーニングをサポートし、1万以上の環境がロールアウトを加速している。
論文 参考訳（メタデータ） (2026-07-30T13:58:41Z) - ProCUA-SFT Technical Report [80.97543110323542]
コンピュータ使用エージェント(CUA)の訓練には、全デスクトップ環境で収集された大規模で多様な軌跡データが必要である。
93Kの合成軌道から抽出した3.1MステップレベルのSFTサンプルのデータセットであるProCUA-SFTについて述べる。
ProCUA-SFTの微調整UI-TARS 7Bは、OSWorldで45.0%、ベースモデルよりも18.7ポイント改善されている。
論文 参考訳（メタデータ） (2026-06-15T22:04:11Z) - Terminal-World: Scaling Terminal-Agent Environments via Agent Skills [52.39713754337834]
エージェントスキルを中心的な合成プリミティブとして利用する完全自動化パイプラインである Terminal-World を紹介する。
我々は,5,723のトレーニング環境を構築し,端末-ワールド-8B/14B/32Bを6つのベンチマークで評価した。
Terminal-World-32B は Terminal-Bench 2.0 で Nemotron-Terminal-32B を +4.5 Pass@1 (31.5) で上回り、43.8 Pass@3 に達する。
論文 参考訳（メタデータ） (2026-05-20T08:14:51Z) - Mobile-Agent-v3.5: Multi-platform Fundamental GUI Agents [56.72789202127874]
この記事では、最新のネイティブGUIエージェントモデルであるGUI-Owl-1.5を紹介する。
クラウドとエッジのコラボレーションとリアルタイムのインタラクションを実現するために、さまざまなプラットフォーム(デスクトップ、モバイル、ブラウザなど)をサポートしている。
オープンソースモデル上で20以上のGUIベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2026-02-15T01:52:19Z) - MAI-UI Technical Report: Real-World Centric Foundation GUI Agents [33.46555542782679]
MAI-UIは、2B、8B、32B、および235B-A22Bを含む全範囲のGUIエージェントのファミリーである。
ネイティブエージェント-ユーザインタラクションの欠如、UIのみの操作の限界、実用的なデプロイメントアーキテクチャの欠如です。
論文 参考訳（メタデータ） (2025-12-26T14:51:52Z) - UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning [51.54456545661045]
本稿では,インストラクション・アズ・ア・推論(Instruction-as-Reasoning)パラダイムを導入し,インストラクションを動的解析経路として扱う。
これを実現するために,教師付き微調整と強化学習という2段階のトレーニングフレームワークを提案する。
得られたモデルであるUI-Ins-7BとUI-Ins-32Bは、5つの挑戦的なグラウンドベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2025-10-23T07:18:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。