論文の概要: LiveUIBench: Evaluating Agent as App Workflows
- arxiv url: http://arxiv.org/abs/2610.27977v1
- Date: Tue, 20 Oct 2026 10:20:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.760787
- Title: LiveUIBench: Evaluating Agent as App Workflows
- Title（参考訳）: LiveUIBench: エージェントをアプリケーションワークフローとして評価する
- Abstract要約: 本稿では,自然言語におけるユーザの要求を表現し,エージェントがパーソナライズされたアプリケーションを作成するタスクを提案する。
LiveUIAgentは、ユーザインターフェース、保存された情報、サービスアクションを接続するタスク固有のオーケストレーションを生成する。
ランタイムを再使用しながらオーケストレーションとインターフェースを改訂することは、要求が進化するにつれてパーソナライズのための軽量な基盤を提供する。
- 参考スコア（独自算出の注目度）: 15.139403316722836
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Applications provide convenient features for users to complete daily tasks. However, different users may have different or even conflicting requirements for the same application, while the requirements of the same user may change over time. Personalizing applications produced by agent-to-app or UI-to-code approaches can require changes to the generated implementation. We propose Agent as App, a task in which users express their requirements in natural language and an agent creates a personalized application while continuing to supply its behavior during use. We implement LiveUIAgent, which generates a task-specific orchestration connecting the user interface, saved information, and service actions. A shared agent runtime renders and updates the interface while carrying out the requested operations. Revising the orchestration and interface while reusing that runtime provides a lightweight basis for personalization as requirements evolve. We introduce LiveUIBench, a benchmark with diverse requirements and ordered interactions across personal services. The empirical findings show that the evaluated models struggle to complete these workflows reliably. Applications can satisfy many local checks while leaving the overall task unfinished, and greater partial coverage can coincide with fewer completed workflows.
- Abstract（参考訳）: アプリケーションは、ユーザーが日々のタスクを完了するのに便利な機能を提供する。
しかし、異なるユーザが同じアプリケーションに対して異なる、あるいは矛盾する要件を持っている場合もありますし、同じユーザの要求は時間とともに変わるかもしれません。
Agent-to-appあるいはUI-to-codeアプローチによって生成されたアプリケーションをパーソナライズするには、生成された実装を変更する必要がある。
我々は,ユーザが自然言語で要求を表現し,エージェントがパーソナライズされたアプリケーションを作成しながら,使用中の動作を継続するタスクであるエージェント・アズ・アプリを提案する。
ユーザインターフェース,保存情報,サービスアクションを接続するタスク固有のオーケストレーションを生成するLiveUIAgentを実装した。
共有エージェントランタイムは、要求された操作を実行しながらインターフェイスをレンダリングし、更新する。
ランタイムを再使用しながらオーケストレーションとインターフェースを改訂することは、要求が進化するにつれてパーソナライズのための軽量な基盤を提供する。
さまざまな要件と個人サービス間の順序付けられたインタラクションを備えたベンチマークであるLiveUIBenchを紹介します。
実証的な結果は、評価されたモデルがこれらのワークフローを確実に完了させるのに苦労していることを示している。
アプリケーションはタスク全体を未完了のままにして、多くのローカルチェックを満足することができる。
関連論文リスト
- Task-State Governance: A Virtual Machine for Verifiable and Recoverable GUI Agent Execution [17.37420437726514]
計画中心のインターフェイスでは、ユーザーは手順を監督するが、ユーザーはアプリケーションの状態を変更する。
タスクを編集可能なコントラクトとして表現するインタラクションパラダイムであるタスク状態ガバナンスを導入します。
私たちはこのパラダイムをTaskVMでインスタンス化します。
論文 参考訳（メタデータ） (2026-10-14T12:35:59Z) - Coding-Agent Benchmarks Should Match Their Users' Task Flows [0.7364513793981815]
SWE-TaskFlowは、問題由来のベンチマークタスクを変換するためのアプローチである。
ターゲットのタスクフローに向けてインタラクションを操りながら、検証済みのタスクとテストを保存する。
700のSWE-Bench Proタスクのパイロットでは、いくつかのステップでタスクを逐次解決することでエージェントコストが約2倍になった。
論文 参考訳（メタデータ） (2026-10-07T08:08:39Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳（メタデータ） (2026-05-26T15:07:38Z) - Proactive Agent Research Environment: Simulating Active Users to Evaluate Proactive Assistants [85.1155076383488]
Pareは、デジタル環境におけるプロアクティブエージェントの構築と評価のためのフレームワークである。
Pare-Benchは、コミュニケーション、生産性、スケジューリング、ライフスタイルアプリにまたがる143のタスクのベンチマークである。
論文 参考訳（メタデータ） (2026-04-01T12:53:01Z) - PersonalAlign: Hierarchical Implicit Intent Alignment for Personalized GUI Agent with Long-Term User-Centric Records [67.68348568175718]
パーソナライズされたGUIエージェント(PersonalAlign)の階層的意図的アライメントに注目した。
PersonalAlignは、曖昧な指示で省略された好みを解決するために、長期的なユーザレコードを永続的なコンテキストとして活用する必要がある。
GPT-5, Qwen3-VL, UI-TARSなどのGUIエージェントをAndroidIntent上で評価する。
論文 参考訳（メタデータ） (2026-01-14T17:12:48Z) - UserBench: An Interactive Gym Environment for User-Centric Agents [110.77212949007958]
LLM(Large Language Models)ベースのエージェントは、推論とツールの使用において、目覚ましい進歩を遂げてきたが、ユーザと積極的にコラボレーションする能力はまだ未熟である。
マルチターン、選好駆動インタラクションにおいてエージェントを評価するために設計されたユーザ中心のベンチマークであるUserBenchを紹介する。
論文 参考訳（メタデータ） (2025-07-29T17:34:12Z) - Agent WARPP: Workflow Adherence via Runtime Parallel Personalization [0.0]
大規模言語モデル(LLM)はタスク指向対話(TOD)システムにますます適用されてきている。
並列パーソナライゼーション(WARPP)は、マルチエージェントランタイムとオーケストレーションを組み合わせた、トレーニング不要でモジュール化されたフレームワークである。
ユーザ属性に基づいて条件分岐を動的にプルーニングすることで、このフレームワークは推論のオーバーヘッドを減らし、実行時のツール選択を狭める。
論文 参考訳（メタデータ） (2025-07-23T23:27:49Z) - PersonaAgent: When Large Language Model Agents Meet Personalization at Test Time [87.99027488664282]
PersonaAgentは、汎用的なパーソナライゼーションタスクに対処するために設計されたフレームワークである。
パーソナライズされたメモリモジュールとパーソナライズされたアクションモジュールを統合する。
テストタイムのユーザ嗜好アライメント戦略は、リアルタイムのユーザの嗜好アライメントを保証する。
論文 参考訳（メタデータ） (2025-06-06T17:29:49Z) - AppAgent v2: Advanced Agent for Flexible Mobile Interactions [57.98933460388985]
本研究は,モバイル機器向けの新しいLLMベースのマルチモーダルエージェントフレームワークを提案する。
我々のエージェントは、様々なアプリケーションにまたがる適応性を高めるフレキシブルなアクション空間を構築する。
本研究は,実世界のシナリオにおいて,フレームワークの優れた性能を実証し,その有効性を確認した。
論文 参考訳（メタデータ） (2024-08-05T06:31:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。