論文の概要: PAUSE: A User-Centric Benchmark for Personal AI Assistants in Unified Service Environments
- arxiv url: http://arxiv.org/abs/2607.27354v1
- Date: Wed, 29 Jul 2026 18:10:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.301957
- Title: PAUSE: A User-Centric Benchmark for Personal AI Assistants in Unified Service Environments
- Title（参考訳）: PAUSE: 統一サービス環境におけるパーソナルAIアシスタントのためのユーザ中心ベンチマーク
- Abstract要約: 我々は、ステートフルでサービス統合された環境でパーソナルAIアシスタントを評価するための、ユーザ中心のベンチマークであるPAUSEを紹介する。
最先端のプロプライエタリモデルでさえ、ステートフルな推論と構成意識を必要とするシナリオで70%のタスク完了に達することができません。
また,コヒーレントなサービス環境のスケーラブルな生成を可能にするユーザ中心の合成パイプラインを提案する。
- 参考スコア（独自算出の注目度）: 19.6693659617142
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Personal AI assistants are increasingly deployed as task-oriented, tool-augmented agents that operate within unified service environments to support everyday user activities. In realistic settings, such assistants must reason over persistent user state, respect user-specific configurations and permissions, and sustain long-horizon, constraint-aware interactions across multiple services. Existing benchmarks, however, often fragment service contexts or abstract away user state, limiting their ability to evaluate user-centric personal assistant behavior in realistic service settings. We introduce PAUSE, a user-centric benchmark for evaluating personal AI assistants in stateful, service-integrated environments. PAUSE captures core challenges of real-world assistant deployment by requiring agents to coordinate actions across heterogeneous user-owned resources while maintaining consistency with environment state, authorization constraints over multi-turn interactions. The benchmark incorporates explicit user-agent interaction via realistic user simulation, enabling evaluation beyond static tool execution. To support principled and reproducible evaluation, PAUSE adopts a multi-regime evaluation framework aligned with task characteristics. Open-ended service management tasks are assessed using semantic and trajectory-level behavioral metrics, while constraint-intensive tasks admit deterministic, state-based verification. Benchmark results show that even state-of-the-art proprietary models fail to reach 70% task completion on scenarios requiring stateful reasoning and configuration awareness, revealing consistent and interpretable failure patterns. Finally, we present a user-centric synthesis pipeline that enables scalable generation of coherent service environments, user configurations, and reliably annotated tasks, supporting benchmark extensibility and future research.
- Abstract（参考訳）: パーソナルAIアシスタントは、日常的なユーザアクティビティをサポートするために、統一されたサービス環境内で運用されるタスク指向のツール拡張エージェントとして、ますます多くデプロイされている。
現実的な設定では、そのようなアシスタントは永続的なユーザ状態を推論し、ユーザ固有の設定とパーミッションを尊重し、複数のサービス間での長い水平な制約対応のインタラクションを維持する必要があります。
しかしながら、既存のベンチマークでは、サービスコンテキストを断片化したり、ユーザ状態を抽象化したりすることで、現実的なサービス設定でユーザ中心のパーソナルアシスタントの動作を評価する能力を制限しています。
我々は、ステートフルでサービス統合された環境でパーソナルAIアシスタントを評価するための、ユーザ中心のベンチマークであるPAUSEを紹介する。
PAUSEは、エージェントが異質なユーザ所有リソースをまたいでアクションを調整し、環境状態との整合性を保ち、マルチターンインタラクションに対する権限制限を課すことによって、現実のアシスタントデプロイメントにおけるコア課題を捉えている。
このベンチマークには,現実的なユーザシミュレーションを通じて明示的なユーザエージェントインタラクションが組み込まれており,静的ツールの実行以上の評価が可能になる。
PAUSEは、原則的かつ再現可能な評価をサポートするため、タスク特性に適合したマルチレジア評価フレームワークを採用している。
オープンなサービス管理タスクはセマンティックおよびトラジェクトリレベルの行動メトリクスを使用して評価される。
ベンチマークの結果は、最先端のプロプライエタリモデルでさえ、ステートフルな推論と構成意識を必要とするシナリオで70%のタスク完了に達することができず、一貫性と解釈可能な障害パターンを明らかにしていることを示している。
最後に,コヒーレントなサービス環境,ユーザ構成,そして確実に注釈付けされたタスクをスケーラブルに生成し,ベンチマークの拡張性と今後の研究を支援するユーザ中心の合成パイプラインを提案する。
関連論文リスト
- DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - STAGE-Claw: Automated State-based Agent Benchmarking for Realistic Scenarios [38.892583102842956]
本稿では,現実的な個人エージェントシナリオの構築と評価のための自動フレームワークSTAGE-Clawを紹介する。
本稿では,STAGE-Clawを用いて,現実シナリオエージェントタスク40のベンチマークを作成し,11のフロンティアモデルを評価し,タスクスコア,コスト,ツールコール信頼性,一般的な障害パターンを分析した。
論文 参考訳（メタデータ） (2026-06-09T04:16:35Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳（メタデータ） (2026-05-26T15:07:38Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - Proactive Agent Research Environment: Simulating Active Users to Evaluate Proactive Assistants [85.1155076383488]
Pareは、デジタル環境におけるプロアクティブエージェントの構築と評価のためのフレームワークである。
Pare-Benchは、コミュニケーション、生産性、スケジューリング、ライフスタイルアプリにまたがる143のタスクのベンチマークである。
論文 参考訳（メタデータ） (2026-04-01T12:53:01Z) - AutoAgent: Evolving Cognition and Elastic Memory Orchestration for Adaptive Agents [26.380991138110925]
AutoAgentは、認知の進化、オンザフライでのコンテキスト決定、弾力性のあるメモリオーケストレーションに基づく、自己進化型のマルチエージェントフレームワークである。
各エージェントは、ツール、自己能力、同僚の専門知識、タスク知識に関する構造化されたプロンプトレベルの認知を維持する。
AutoAgentは、静的およびメモリ拡張ベースラインに対するタスク成功、ツール使用効率、共同ロバスト性を一貫して改善する。
論文 参考訳（メタデータ） (2026-03-10T14:23:49Z) - AmbiBench: Benchmarking Mobile GUI Agents Beyond One-Shot Instructions in the Wild [30.138230316314534]
本稿では,一方向の指示から双方向の意図のアライメントへ評価をシフトするために,指示明細の分類を取り入れた最初のベンチマークであるAmbiBenchを紹介する。
厳密なレビュープロトコルの下で,25のアプリケーションにまたがる240の生態学的に有効なタスクの厳密なデータセットを構築した。
また,MLLM-as-a-judgeマルチエージェントアーキテクチャを利用した自動フレームワークであるMUSEを開発した。
論文 参考訳（メタデータ） (2026-02-12T09:25:15Z) - UserBench: An Interactive Gym Environment for User-Centric Agents [110.77212949007958]
LLM(Large Language Models)ベースのエージェントは、推論とツールの使用において、目覚ましい進歩を遂げてきたが、ユーザと積極的にコラボレーションする能力はまだ未熟である。
マルチターン、選好駆動インタラクションにおいてエージェントを評価するために設計されたユーザ中心のベンチマークであるUserBenchを紹介する。
論文 参考訳（メタデータ） (2025-07-29T17:34:12Z) - CRMArena: Understanding the Capacity of LLM Agents to Perform Professional CRM Tasks in Realistic Environments [90.29937153770835]
CRMArenaは、プロフェッショナルな作業環境に根ざした現実的なタスクにおいて、AIエージェントを評価するために設計されたベンチマークである。
現状のLDMエージェントはReActプロンプトのタスクの40%以下で成功し,機能呼び出し能力でも55%以下であった。
この結果から,実環境に展開する関数呼び出しやルールフォローにおいて,エージェント機能の向上の必要性が示唆された。
論文 参考訳（メタデータ） (2024-11-04T17:30:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。