論文の概要: iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents
- arxiv url: http://arxiv.org/abs/2610.34735v1
- Date: Mon, 26 Oct 2026 02:35:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.68661
- Title: iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents
- Title（参考訳）: iPrefBench: 個人化されたモバイル利用エージェントのためのユーザ中心ベンチマーク
- Abstract要約: iPrefBenchは、対話型シミュレートされたユーザを持つiOS環境で、個人用モバイルエージェントの推論と要求能力を評価するためのベンチマークである。
エージェントがユーザに対して正しくタスクを完了したかどうか(例えば、パーソナライズされたタスク完了)と、必要な時にユーザインプットを求めるかどうか(すなわち、ユーザとエージェントのインタラクション)について、パーソナライズされたモバイルエージェントを評価した。
調査の結果は,何を推測し,いつ問うべきかを知る上で,パーソナライズされたエージェントにとっての課題を浮き彫りにした。
- 参考スコア（独自算出の注目度）: 13.397637583649102
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An agent that truly knows and acts on behalf of its user has been a long-standing promise of AI assistants. Computer-use agents bring this promise within reach by capably executing fully specified tasks across apps. However, real-world user requests are often underspecified. To act correctly for the particular user, an agent must infer some missing information from the user's activity history and ask for other information that only the user can provide, without making unsupported assumptions or burdening the user with unnecessary questions. We present iPrefBench, a benchmark for evaluating the infer and ask capabilities of personal mobile-use agents in an executable iOS environment with an interactive simulated user. Grounded in a coherent persona with 3,051 past activity events, iPrefBench comprises 130 underspecified user tasks across 26 apps. Each omitted user-dependent requirement is, by construction, either history-inferable or ask-only. iPrefBench evaluates personalized mobile agents on both whether agents complete tasks correctly for the user (i.e., personalized task completion) and whether they seek user input when necessary (i.e., user-agent interaction). Evaluation of 7 frontier agents reveals a substantial gap between execution and personalization. Agents achieve high action completion scores (up to 91.6%) but low full task success (up to 47.7%) because personalization lags behind. They especially struggle with ask-only information, failing to request enough necessary information. Our findings highlight a challenge for personalized agents in knowing what to infer and when to ask. We hope that iPrefBench can serve as a valuable testbed for building agents that know their user and work with them.
- Abstract（参考訳）: ユーザーに代わって真に知っており、行動するエージェントは、長年AIアシスタントの約束だった。
コンピュータ利用エージェントは、アプリ間で完全に指定されたタスクを実行可能にすることで、この約束を達成できる。
しかし、現実世界のユーザリクエストは、しばしば過小評価される。
特定のユーザに対して正しく行動するためには、エージェントはユーザの活動履歴から不足した情報を推測し、ユーザが提供できる他の情報を要求する必要がある。
iPrefBenchは、対話型シミュレートされたユーザで実行可能なiOS環境において、個人用モバイルエージェントの推論と問い合わせ能力を評価するためのベンチマークである。
iPrefBenchは、過去3,051回のアクティビティイベントを持つ一貫性のあるペルソナで、26のアプリにわたる130の未特定ユーザタスクで構成されている。
省略されたユーザ依存の要件は、構成上、履歴推論可能か要求のみである。
iPrefBenchは、パーソナライズされたモバイルエージェントを、エージェントがユーザのために正しくタスクを完了したかどうか(すなわち、パーソナライズされたタスク完了)と、必要な時にユーザインプットを求めるかどうか(すなわち、ユーザとエージェントのインタラクション)で評価する。
7つのフロンティアエージェントの評価は、実行とパーソナライズの間に大きなギャップがあることを明らかにする。
エージェントは高い行動完了スコア(最大91.6%)を達成しているが、パーソナライゼーションが遅れているため、完全なタスク成功率(最大47.7%)は低い。
彼らは特に要求のみの情報に苦しむが、十分な必要な情報を要求できなかった。
調査の結果は,何を推測し,いつ問うべきかを知る上で,パーソナライズされたエージェントにとっての課題を浮き彫りにした。
iPrefBenchは、ユーザを知り、彼らと仕事をするエージェントを構築するための、貴重なテストベッドとして機能することを願っている。
関連論文リスト
- Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - PersonalAlign: Hierarchical Implicit Intent Alignment for Personalized GUI Agent with Long-Term User-Centric Records [67.68348568175718]
パーソナライズされたGUIエージェント(PersonalAlign)の階層的意図的アライメントに注目した。
PersonalAlignは、曖昧な指示で省略された好みを解決するために、長期的なユーザレコードを永続的なコンテキストとして活用する必要がある。
GPT-5, Qwen3-VL, UI-TARSなどのGUIエージェントをAndroidIntent上で評価する。
論文 参考訳（メタデータ） (2026-01-14T17:12:48Z) - ReInAgent: A Context-Aware GUI Agent Enabling Human-in-the-Loop Mobile Task Navigation [26.254354188188177]
ReInAgentは、ヒューマン・イン・ザ・ループのモバイルタスクナビゲーションを可能にする、コンテキスト対応のマルチエージェントフレームワークである。
これは、明確で静的なタスク仮定に依存する既存のアプローチの制限を克服する。
真のユーザの好みとより緊密に一致した結果を生み出すのです。
論文 参考訳（メタデータ） (2025-10-09T09:22:05Z) - UserBench: An Interactive Gym Environment for User-Centric Agents [110.77212949007958]
LLM(Large Language Models)ベースのエージェントは、推論とツールの使用において、目覚ましい進歩を遂げてきたが、ユーザと積極的にコラボレーションする能力はまだ未熟である。
マルチターン、選好駆動インタラクションにおいてエージェントを評価するために設計されたユーザ中心のベンチマークであるUserBenchを紹介する。
論文 参考訳（メタデータ） (2025-07-29T17:34:12Z) - Tell Me More! Towards Implicit User Intention Understanding of Language
Model Driven Agents [110.25679611755962]
現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。
Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。
私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
論文 参考訳（メタデータ） (2024-02-14T14:36:30Z) - MobileAgent: enhancing mobile control via human-machine interaction and
SOP integration [0.0]
大規模言語モデル(LLM)は、ユーザのためのモバイルデバイス操作を自動化できるようになった。
パーソナライズされたユーザデータに関するプライバシー上の懸念は、モバイル操作中に発生し、ユーザ確認が必要になる。
エージェントと人間間の対話的なタスクを設計し、機密情報を識別し、パーソナライズされたユーザニーズに合わせる。
提案手法は,複数ステップのタスクにまたがる30Kのユニークな命令を含む新しいデバイス制御ベンチマークであるAitWで評価される。
論文 参考訳（メタデータ） (2024-01-04T03:44:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。