論文の概要: ASIL: Replacing Screenshot-and-Click with Structured State and Semantic Actions
- arxiv url: http://arxiv.org/abs/2608.26991v1
- Date: Thu, 27 Aug 2026 11:38:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.373221
- Title: ASIL: Replacing Screenshot-and-Click with Structured State and Semantic Actions
- Title（参考訳）: ASIL: 構造化された状態とセマンティックアクションでスクリーンショットとクリックを置き換える
- Abstract要約: 我々は、スクリーンショット・アンド・クリックはソフトウェア操作エージェントの非効率なインターフェースであると主張している。
我々は,構造化スクリーンショット観察とコード実行可能なセマンティックアクションを通じてソフトウェアを公開するエージェントネイティブインターフェースであるASILを紹介する。
ASILはクローズドモデルで80以上まで到達し、タスク毎に5つ未満のアクションを実行する。
- 参考スコア（独自算出の注目度）: 10.090084621839088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Powerful code agents can execute scripts, call tools, and manage files, yet many important applications remain accessible primarily through graphical user interfaces. We argue that screenshot-and-click is an inefficient interface for software-operating agents: screenshots are state-incomplete, and GUI actions are brittle, semantically weak, and poorly matched to long-horizon planning. We introduce ASIL (Agent-Software Interaction Layer), an agent-native interface that exposes software through structured JSON observations and code-executable semantic actions, realized through the deepest feasible access path for each application. We instantiate ASIL across 15 applications and a benchmark of 300 single-application and 80 multi-application tasks. ASIL reaches above 80 with closed models while executing fewer than five actions per task. Under a repaired runtime and a 50-step screenshot budget, the same tasks yield 6.6 and 26.6 strict success under screenshot-and-click control, rising to 15.0 and 53.3 on an easier OSWorld-comparable band. Against application-native interfaces on matched tasks, ASIL exceeds LibreOffice's UNO API by 28-38 strict points but only matches draw.io's MCP content contract. The structured modality also suits training: small-scale SFT raises Qwen3.5-2B from 58.0 to 72.1 and Qwen3.5-9B from 66.6 to 80.4, and resource-limited on-policy RL further raises them to 74.4 and 82.2.
- Abstract（参考訳）: 強力なコードエージェントはスクリプトを実行し、ツールを呼び出し、ファイルを管理することができるが、多くの重要なアプリケーションは、主にグラフィカルなユーザーインターフェイスを通してアクセス可能である。
スクリーンショットは状態不完全であり、GUIアクションは脆く、セマンティックに弱く、長期計画と不整合である。
我々は,構造化JSON観測とコード実行可能なセマンティックアクションを通じてソフトウェアを公開するエージェントネイティブインターフェースであるASIL(Agent-Software Interaction Layer)を紹介し,アプリケーション毎の最も深いアクセスパスを通じて実現した。
我々は、15のアプリケーションと300のシングルアプリケーションと80のマルチアプリケーションタスクのベンチマークでASILをインスタンス化する。
ASILはクローズドモデルで80以上まで到達し、タスク毎に5つ未満のアクションを実行する。
修正されたランタイムと50ステップのスクリーンショット予算の下で、同じタスクはスクリーンショット・アンド・クリックコントロールの下で6.6と26.6の厳密な成功をもたらし、OSWorld互換のバンドでは15.0と53.3に上昇した。
マッチしたタスク上のアプリケーションネイティブインターフェースに対して、ASILはLibreOfficeのUNO APIを28-38の厳格なポイントで上回るが、Drode.ioのMPPコンテンツコントラクトにのみマッチする。
小型のSFTはQwen3.5-2Bを58.0から72.1に、Qwen3.5-9Bを66.6から80.4に引き上げ、資源制限のオンポリティクスRLは74.4と82.2に引き上げる。
関連論文リスト
- UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations [68.29650478987561]
UI-Mateは、環境に根ざしたトレーニングスタックとコンテキスト内の実演学習を統合する基盤GUIエージェントである。
OSWorldでは77.0%、WindowsAgentArenaでは66.2%と評価された。
論文 参考訳（メタデータ） (2026-08-16T20:59:59Z) - Qwen-CUA: Native Computer Use for (almost) Everything [104.78368489343713]
本稿では,Qwen-CUAについて紹介する。
DOMツリー、アクセシビリティメタデータ、タスク固有のAPIなしで、スクリーンショットのみを観察し、キーボードやマウスのイベントを通じて動作します。
足場は最大20個のアクティブなスクリーンショットを保持し、最近の証拠を保持するために固定サイズのブロックで古い視覚履歴を折り畳む。
論文 参考訳（メタデータ） (2026-08-03T15:04:20Z) - GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents [57.03233891304263]
18のアプリケーションと12のワークフローカテゴリにわたる440のデスクトップタスクの一致した実行層ベンチマークを導入する。
最強のGUIエージェントが59.1%のフルパスレートに達し、48.2%で最強のオリジナルスキルCLIエージェントを上回りました。
論文 参考訳（メタデータ） (2026-06-22T17:05:07Z) - SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows? [29.5539656241093]
Computer-Using Agents (CUA)は、より複雑な環境でのアクション実行に対するテキストベースの推論を超えて、大規模言語モデル(LLM)を急速に拡張している。
既存のベンチマークは、しばしば単純化された設定、孤立したタスク、短期水平相互作用に依存している。
6つのプロフェッショナルドメインにわたる23のデプロイ可能なシステム上に構築されたベンチマークには、現実的な作業シナリオに基づく106のタスクが含まれています。
実験の結果、LLMベースのエージェントがベンチで苦労していることが示され、最強のモデルでさえ、エンドツーエンドのタスクの4%未満を完了している。
論文 参考訳（メタデータ） (2026-05-15T09:35:15Z) - Mobile-Agent-v3.5: Multi-platform Fundamental GUI Agents [56.72789202127874]
この記事では、最新のネイティブGUIエージェントモデルであるGUI-Owl-1.5を紹介する。
クラウドとエッジのコラボレーションとリアルタイムのインタラクションを実現するために、さまざまなプラットフォーム(デスクトップ、モバイル、ブラウザなど)をサポートしている。
オープンソースモデル上で20以上のGUIベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2026-02-15T01:52:19Z) - A Case for Declarative LLM-friendly Interfaces for Improved Efficiency of Computer-Use Agents [7.687846129934911]
既存のGUIを3つの宣言的プリミティブに変換する新しい抽象化であるGoal-Oriented Interface (GOI)を提案する。
GOIは、アプリケーションのソースコードを変更したり、アプリケーションプログラミングインターフェース(API)に依存する必要はない。
論文 参考訳（メタデータ） (2025-10-06T09:14:58Z) - Towards General Computer Control with Hierarchical Agents and Multi-Level Action Spaces [5.258138614911196]
我々は,OS制御を2段階のオプションプロセスとして定式化する軽量階層型強化学習フレームワークであるComputerAgentを導入する。
135の現実世界のデスクトップタスクで、ComputerAgentは92.1%の簡単なタスクで成功し、58.8%のハードタスクで成功している。
その結果、階層型RLは、コンピュータ制御のためのモノリシックMLLMベースの自動化に代わる実用的でスケーラブルな代替手段を提供することを示した。
論文 参考訳（メタデータ） (2025-09-22T13:14:47Z) - Mobile-Agent-v3: Fundamental Agents for GUI Automation [59.775510710011325]
本稿では,オープンソースエンド・ツー・エンド・モデル間の最先端性能を実現する基礎的なGUIエージェントモデルを提案する。
汎用GUIエージェントフレームワークであるMobile-Agent-v3を提案し,AndroidWorldでは73.3,OSWorldでは37.7に向上した。
論文 参考訳（メタデータ） (2025-08-21T00:39:12Z) - UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。
OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
論文 参考訳（メタデータ） (2025-01-21T17:48:10Z) - You Only Look at Screens: Multimodal Chain-of-Action Agents [37.118034745972956]
Auto-GUIは、インターフェースと直接対話するマルチモーダルソリューションである。
そこで本研究では,エージェントが実行すべきアクションを決定するためのチェーン・オブ・アクション手法を提案する。
我々は,30$Kのユニークな命令を持つ新しいデバイス制御ベンチマークAITWに対するアプローチを評価した。
論文 参考訳（メタデータ） (2023-09-20T16:12:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。