論文の概要: AcCoRD: Evaluating User-Agent Collaboration Under Realistic User Preference Dynamics
- arxiv url: http://arxiv.org/abs/2608.27818v1
- Date: Fri, 28 Aug 2026 01:34:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.175952
- Title: AcCoRD: Evaluating User-Agent Collaboration Under Realistic User Preference Dynamics
- Title(参考訳): AcCoRD: リアルなユーザ嗜好ダイナミクスによるユーザエージェントコラボレーションの評価
- Abstract要約: ユーザとエージェントのコラボレーションを評価するための既存のベンチマークは、ほとんど特定されていない好みの解決に重点を置いている。
我々は,オンラインショッピングと旅行計画という2つの領域において,多様なユーザ嗜好のダイナミクスを扱うエージェントを必要とするユーザエージェントコラボレーションベンチマークであるAcCoRDを紹介した。
- 参考スコア(独自算出の注目度): 13.692601337126462
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: User preferences in user-agent collaboration are rarely static and fully-specified upfront: preferences are formed, revealed, adjusted, and relaxed during interaction. Existing benchmarks for evaluating user-agent collaboration focus almost exclusively on resolving underspecified preferences, thereby failing to capture the richer dynamics of real-world interaction. We introduce AcCoRD, a user-agent collaboration benchmark requiring agents to handle diverse user preference dynamics in two domains: online shopping and travel planning. We evaluate five frontier LLMs under two prompting strategies: vanilla ReAct, and an uncertainty-guided variant that prompts models to identify and resolve ambiguity about user preferences. Our results reveal that frontier models can handle underspecification but struggle to satisfy preferences that emerge or evolve mid-interaction and require more sophisticated uncertainty modeling. Further, prompting alone fails to elicit the required uncertainty recognition. We release AcCoRD as a resource for developing agents that can navigate the full complexity of real-world user preferences.
- Abstract(参考訳): ユーザとエージェントのコラボレーションにおけるユーザの好みは、静的で完全に特定されることはめったにない。
ユーザとエージェントのコラボレーションを評価するための既存のベンチマークは、明らかにされていない好みの解決にのみ焦点を合わせており、現実世界のインタラクションのよりリッチなダイナミクスを捉えていない。
我々は,オンラインショッピングと旅行計画という2つの領域において,多様なユーザ嗜好のダイナミクスを扱うエージェントを必要とするユーザエージェントコラボレーションベンチマークであるAcCoRDを紹介した。
我々は,バニラ・レアクト(Vanilla ReAct)と不確実性誘導型(不確実性誘導型)の2つの戦略の下で,フロンティアのLLMを評価する。
以上の結果から,フロンティアモデルは不特定性に対処できるが,中間相互作用の出現や進化に苦慮し,より洗練された不確実性モデリングを必要とすることが判明した。
さらに、プロンプトだけでは、要求された不確実性認識を引き出すことができない。
我々はAcCoRDを、現実世界のユーザの嗜好の完全な複雑さをナビゲートできるエージェントを開発するためのリソースとしてリリースする。
関連論文リスト
- From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳(メタデータ) (2026-08-03T12:52:04Z) - ODYSSE: Episode-wise Policy Optimization for Personalized Agentic Reasoning [48.692251671993574]
エージェント推論をパーソナライズするフレームワークODYSSEを提案する。
ODYSSEは、パーソナライズされたエージェント推論において、長いアクション水平線と強力なクロスステップ依存に対処する。
ODYSSEは、専門的・汎用的なLVLMよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2026-07-28T07:25:04Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳(メタデータ) (2026-05-26T15:07:38Z) - Towards Proactive Personalization through Profile Customization for Individual Users in Dialogues [28.522406727886395]
PersonalAgentは、ユーザの好みを継続的に推測し、適応するように設計された、生涯にわたるエージェントである。
実験により、PersonalAgentは強力なプロンプトベースおよびポリシー最適化ベースラインよりも優れたパフォーマンスを達成できることが示された。
本研究は、より包括的で適応的な会話エージェントを開発するために、生涯のパーソナライズの重要性を浮き彫りにした。
論文 参考訳(メタデータ) (2025-12-17T10:47:06Z) - UserBench: An Interactive Gym Environment for User-Centric Agents [110.77212949007958]
LLM(Large Language Models)ベースのエージェントは、推論とツールの使用において、目覚ましい進歩を遂げてきたが、ユーザと積極的にコラボレーションする能力はまだ未熟である。
マルチターン、選好駆動インタラクションにおいてエージェントを評価するために設計されたユーザ中心のベンチマークであるUserBenchを紹介する。
論文 参考訳(メタデータ) (2025-07-29T17:34:12Z) - PersonaAgent: When Large Language Model Agents Meet Personalization at Test Time [87.99027488664282]
PersonaAgentは、汎用的なパーソナライゼーションタスクに対処するために設計されたフレームワークである。
パーソナライズされたメモリモジュールとパーソナライズされたアクションモジュールを統合する。
テストタイムのユーザ嗜好アライメント戦略は、リアルタイムのユーザの嗜好アライメントを保証する。
論文 参考訳(メタデータ) (2025-06-06T17:29:49Z) - Dynamic Evaluation Framework for Personalized and Trustworthy Agents: A Multi-Session Approach to Preference Adaptability [10.443994990138973]
我々は、パーソナライズされた適応的なエージェントを評価するパラダイムシフトについて論じる。
本稿では,ユニークな属性と好みを持つユーザペルソナをモデル化する包括的新しいフレームワークを提案する。
私たちのフレキシブルなフレームワークは、さまざまなエージェントやアプリケーションをサポートし、レコメンデーション戦略の包括的で汎用的な評価を保証するように設計されています。
論文 参考訳(メタデータ) (2025-03-08T22:50:26Z) - AgentCF: Collaborative Learning with Autonomous Language Agents for
Recommender Systems [112.76941157194544]
本稿では,エージェントベースの協調フィルタリングにより,レコメンデータシステムにおけるユーザとイテムのインタラクションをシミュレートするエージェントCFを提案する。
我々は、ユーザだけでなく、アイテムをエージェントとして、創造的に考慮し、両方のエージェントを同時に最適化する協調学習アプローチを開発します。
全体として、最適化されたエージェントは、ユーザ・イテム、ユーザ・ユーザ・ユーザ、アイテム・イテム、集合的インタラクションなど、フレームワーク内での多様なインタラクションの振る舞いを示す。
論文 参考訳(メタデータ) (2023-10-13T16:37:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。