論文の概要: A Decade in a Day: Synthesizing Agent-Native Interfaces from Human-Oriented Software Evolution
- arxiv url: http://arxiv.org/abs/2610.15765v1
- Date: Sun, 11 Oct 2026 16:43:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.246025
- Title: A Decade in a Day: Synthesizing Agent-Native Interfaces from Human-Oriented Software Evolution
- Title(参考訳): 1日で10年:人間指向のソフトウェア進化からエージェント-ネイティブインターフェースを合成する
- Abstract要約: 大規模な言語モデルエージェントは、デスクトップアプリケーションの重要な新しいユーザクラスとして現れています。
既存のデスクトップインターフェースは、人間のエンドユーザーやアプリケーション開発者向けに設計された。
このミスマッチは、有能なエージェントさえも妨げうるが、どのインターフェースプロパティがデスクトップソフトウェアをエージェントが使いやすくするのかは不明だ。
- 参考スコア(独自算出の注目度): 24.961077404259754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model agents are emerging as an important new class of users of desktop applications. However, existing desktop interfaces were designed for human end users or application developers, leaving agents to interpret visual controls or discover and compose low-level software operations. This mismatch can hinder even capable agents, yet it remains unclear what interface properties make desktop software easier for agents to use. To study this question, we treat software evolution as a natural source of interface variation and introduce DeskIF-Bench, a benchmark of 255 artifact-verified tasks across six desktop applications. By holding the task, agent, and verifier fixed while varying the software release, we measure how interface changes affect agent performance. Across two models and six applications, the newest release consistently outperforms the oldest. Trajectory analysis identifies three relevant interface properties: discoverability, granularity, and observability. Guided by these properties, we develop ANIS, a framework that synthesizes agent-native interfaces from the capabilities of installed applications. On an expanded evaluation of 368 tasks across eight applications, atomic interfaces improve success over native SDK use by 3.8 and 3.5 percentage points with DeepSeek V4 Flash and Claude Haiku 4.5, respectively, while reducing online token usage by approximately 73%. Goal-level commands further raise success to 74.5% and 67.4%, respectively.
- Abstract(参考訳): 大規模な言語モデルエージェントは、デスクトップアプリケーションの重要な新しいユーザクラスとして現れています。
しかし、既存のデスクトップインターフェースは、人間のエンドユーザーやアプリケーション開発者向けに設計されており、視覚的制御を解釈したり、低レベルのソフトウェア操作を発見して構成するエージェントを残している。
このミスマッチは、有能なエージェントさえも妨げうるが、どのインターフェースプロパティがデスクトップソフトウェアをエージェントが使いやすくするのかは不明だ。
そこで本研究では,ソフトウェア進化をインタフェース変化の自然発生源として扱うとともに,デスクIF-ベンチ(DeskIF-Bench)という,6つのデスクトップアプリケーションにまたがる255のアーティファクト検証タスクのベンチマークを導入する。
タスク,エージェント,検証器をソフトウェアリリースの変更中に保持することにより,インタフェースの変更がエージェントのパフォーマンスに与える影響を計測する。
2つのモデルと6つのアプリケーションにまたがって、最新のリリースは、一貫して最も古いものを上回っている。
軌道解析は、発見可能性、粒度、可観測性という3つの関連するインターフェース特性を識別する。
これらの特性に基づいて,インストールされたアプリケーションの機能からエージェントネイティブインターフェースを合成するフレームワークであるANISを開発した。
8つのアプリケーションで368のタスクが拡張され、アトミックインターフェースはネイティブSDKよりも3.8ポイント、3.5ポイント、DeepSeek V4 FlashとClaude Haiku 4.5がそれぞれ改善され、オンライントークンの使用率が約73%削減された。
ゴールレベルのコマンドは、それぞれ74.5%と67.4%に向上した。
関連論文リスト
- EvoGenUI-Bench: Evaluating LLMs as Multi-Turn Generative UI Assistants [10.510136510866099]
大規模な言語モデルはインタラクティブなWebインターフェースを生成することができるが、ユーザ要求が進化するにつれて、信頼できる生成UIは実行可能なアーティファクトを維持する必要がある。
我々はEvoGenUI-Benchを紹介した。EvoGenUI-Benchは150の5ターンタスクと750のターンを3つのシナリオに分けたマルチターンインタフェースメンテナンスのベンチマークである。
生成されたアーティファクトをブラウザで実行し、スクリーンショット、ソースおよびDOMエビデンス、アクタートレース、実行時ログを使用して評価します。
論文 参考訳(メタデータ) (2026-08-29T17:54:02Z) - Mobile-Agent-v3.5: Multi-platform Fundamental GUI Agents [56.72789202127874]
この記事では、最新のネイティブGUIエージェントモデルであるGUI-Owl-1.5を紹介する。
クラウドとエッジのコラボレーションとリアルタイムのインタラクションを実現するために、さまざまなプラットフォーム(デスクトップ、モバイル、ブラウザなど)をサポートしている。
オープンソースモデル上で20以上のGUIベンチマークで最先端の結果を得る。
論文 参考訳(メタデータ) (2026-02-15T01:52:19Z) - UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning [155.51875080423883]
グラフィカルユーザインタフェースのための自律エージェントの開発は、人工知能における大きな課題を示している。
本稿では,GUI中心のエージェントモデルであるUI-TARS-2を提案する。
実証的な評価では、UI-TARS-2は以前のUI-TARS-1.5よりも大幅に改善されている。
論文 参考訳(メタデータ) (2025-09-02T17:44:45Z) - SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering [79.07755560048388]
SWEエージェント(SWE-agent)は、LMエージェントが自律的にコンピュータを使用してソフトウェア工学のタスクを解決するシステムである。
SWEエージェントのカスタムエージェントコンピュータインタフェース(ACI)は、エージェントがコードファイルを作成し編集し、リポジトリ全体をナビゲートし、テストやその他のプログラムを実行する能力を著しく向上させる。
我々はSWE-benchとHumanEvalFixのSWE-agentを評価し、それぞれ12.5%と87.7%のパス@1レートで最先端の性能を実現した。
論文 参考訳(メタデータ) (2024-05-06T17:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。