論文の概要: Evolving Agent Interfaces
- arxiv url: http://arxiv.org/abs/2610.28601v1
- Date: Tue, 20 Oct 2026 17:47:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.957542
- Title: Evolving Agent Interfaces
- Title(参考訳): エージェントインタフェースの進化
- Abstract要約: 本稿では,タスク体験からエージェントインタフェースを進化させる自律型コンピュータ利用科学者であるAgens S4を紹介する。
メタエージェントは、成功ラベルなしで、合成トレーニングタスクにおけるタスクエージェントの軌跡を調べ、リポジトリ内のインターフェースと使用知識を構築し、修正する。
人口ベースの進化は、メタエージェントが見ないバリデーションタスクのパフォーマンスによって、どのリポジトリをさらに発展させるかを選択する。
- 参考スコア(独自算出の注目度): 40.53898431802659
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computer-use agents are limited by the interfaces humans give them. An agent may type a spreadsheet cell by cell when a single line of code would do, or print all two thousand lines of a file through a shell to find one function. Both the interfaces and the knowledge of when to use each are built by hand, which cannot keep pace with new applications, workflows, and models. We argue that interface design should itself be an agent capability. We introduce Agent S4, an autonomous computer-use scientist that builds Evolving Agent Interfaces from task experience. A meta-agent examines task agents' trajectories on synthetic training tasks, without success labels, and constructs and revises interfaces and usage knowledge in a repository. Population-based evolution then selects which repositories to develop further by their performance on validation tasks the meta-agent never sees, favoring changes that generalize beyond the seen tasks. On OSWorld V2, Agent S4, with Qwen3.8-27B and the evolved repository of interfaces, sets a new state of the art in open-source computer-use agents, reaching 21.3% binary score, 3.8 times the same model with fixed interfaces. This is above both GPT-5.5 (13.0%) and Claude Opus 4.8 (20.6%), at about 4.3% and 1.5% of their respective costs. On ScienceBoard, the evolved interfaces improve the success rate from 41.4% to 58.6% with the same model. These results suggest that useful interfaces can be evolved from experience, making autonomous interface design a source of improvement complementary to advances in models and harnesses. We open-source our code at https://github.com/simular-ai/agent-s.
- Abstract(参考訳): コンピュータ利用エージェントは、人間が与えるインターフェースによって制限される。
エージェントは、1行のコードが実行されたときにセルでスプレッドシートセルをタイプしたり、シェルを通してファイルの2千行全てをプリントして1つの関数を見つけることができる。
インターフェースと使用するタイミングの知識はいずれも手作業で構築されているため、新しいアプリケーションやワークフロー、モデルに追随することはできない。
インターフェース設計自体がエージェント機能であるべきだ、と私たちは主張する。
本稿では,タスク体験からエージェントインタフェースを進化させる自律型コンピュータ利用科学者であるAgens S4を紹介する。
メタエージェントは、成功ラベルなしで、合成トレーニングタスクにおけるタスクエージェントの軌跡を調べ、リポジトリ内のインターフェースと使用知識を構築し、修正する。
人口ベースの進化は、メタエージェントが見ることのないバリデーションタスクのパフォーマンスによって、どのリポジトリをさらに発展させるかを選択する。
OSWorld V2, Agent S4, with Qwen3.8-27B and the evolution repository of interface, set a new-of-the-art in open-source computer-use agent, reached 21.3% binary score, 3.8 times the same model with fixed interface。
これは GPT-5.5 (13.0%) と Claude Opus 4.8 (20.6%) をそれぞれ4.3%と1.5% で上回る。
ScienceBoardでは、進化したインターフェースは同じモデルで41.4%から58.6%に改善された。
これらの結果から,ユーザエクスペリエンスから有用なインターフェースを進化させ,自律的なインターフェース設計をモデルやハーネスの進歩に補完する改良の源とすることができることが示唆された。
コードをhttps://github.com/simular-ai/agent-sでオープンソースにしています。
関連論文リスト
- OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents [53.608021940850016]
エンド・ツー・エンドのマルチモーダル・コンピュータ・エージェントであるOS-Helixについて述べる。
RLでは、生のアシスタントトークンではなく、アクションステップで重みを集約するステップバランス付きGSPOを提案する。
論文 参考訳(メタデータ) (2026-10-15T17:14:02Z) - A Decade in a Day: Synthesizing Agent-Native Interfaces from Human-Oriented Software Evolution [24.961077404259754]
大規模な言語モデルエージェントは、デスクトップアプリケーションの重要な新しいユーザクラスとして現れています。
既存のデスクトップインターフェースは、人間のエンドユーザーやアプリケーション開発者向けに設計された。
このミスマッチは、有能なエージェントさえも妨げうるが、どのインターフェースプロパティがデスクトップソフトウェアをエージェントが使いやすくするのかは不明だ。
論文 参考訳(メタデータ) (2026-10-11T16:43:43Z) - When Interfaces Speak: Data-Aware Generative UI Harness for Active Interaction [20.347078296537354]
情報検索とタスク実行のためのツールエージェントであるGenUI-HarnessをGUIコーダエージェントと組み合わせて、曖昧性を識別し、構造化インターフェイスのフロントエンドコードを生成する。
動的インタラクションと報酬収集を単一のサンドボックスで行う軽量パッケージであるDynamic UXの最初の課題に対処する。
パブリックなデータソースから構築された10の現実世界のドメインデータベース上に構築されたUIコードを通じて、アクティブなヒューマンエージェントインタラクションのベンチマークであるUI-TAU Benchを紹介する。
論文 参考訳(メタデータ) (2026-10-08T02:49:35Z) - RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。
インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。
レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
論文 参考訳(メタデータ) (2026-09-18T17:00:56Z) - AgentGUI: An Interface for Observing and Steering Long-Running AI Agents [3.2387066735835273]
AgentGUIはユーザーフレンドリーで、ローカルにホストされた、AIエージェントをシームレスに観察し、操るGUIである。
制御されたユーザスタディは、エージェントトレースからキー要素を特定するのに要する時間の統計的に顕著な減少を示す。
予備的な実験では、AgentGUIの自動ドリフト防止機能は、0.8B--9Bモデルラグを越えて34ppの小さなローカルエージェントのタスク完了率を高める。
論文 参考訳(メタデータ) (2026-07-28T21:47:22Z) - Agent S2: A Compositional Generalist-Specialist Framework for Computer Use Agents [30.253353551910404]
コンピュータ利用エージェントは、コンピュータやモバイルデバイスのグラフィカルユーザインタフェース(GUI)と直接対話することで、デジタルタスクを自動化する。
本稿では,様々なジェネラリストおよびスペシャリストモデルにまたがって認知的責任を委譲する新しい構成フレームワークであるAgens S2を紹介する。
Agent S2は、3つの著名なコンピュータ使用ベンチマーク上でのSOTA(State-of-the-art)のパフォーマンスを確立する。
論文 参考訳(メタデータ) (2025-04-01T15:40:27Z) - SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering [79.07755560048388]
SWEエージェント(SWE-agent)は、LMエージェントが自律的にコンピュータを使用してソフトウェア工学のタスクを解決するシステムである。
SWEエージェントのカスタムエージェントコンピュータインタフェース(ACI)は、エージェントがコードファイルを作成し編集し、リポジトリ全体をナビゲートし、テストやその他のプログラムを実行する能力を著しく向上させる。
我々はSWE-benchとHumanEvalFixのSWE-agentを評価し、それぞれ12.5%と87.7%のパス@1レートで最先端の性能を実現した。
論文 参考訳(メタデータ) (2024-05-06T17:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。