論文の概要: UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training
- arxiv url: http://arxiv.org/abs/2609.38043v1
- Date: Tue, 29 Sep 2026 17:17:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.777143
- Title: UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training
- Title（参考訳）: UserProxyBench:エージェントベンチマークとトレーニングのためのLLMユーザシミュレータの評価
- Abstract要約: 現在のベンチマークはエージェントのみをスコアし、ユーザが割り当てられたロールを正しく実行したかどうかを直接測定しない。
本稿では,tau-benchファミリ上の評価層であるUser ProxyBenchと,ベンチマークのプライベートユーザ命令への準拠性を測定するUser Fidelity Score(UFS)を紹介する。
GPT-5.5で固定されたエージェントを保持し、375のエンタープライズタスクにまたがるユーザプロキシだけを変更すると、タスク報酬の平均15.2ポイントが変更され、成功エピソードの24.4%がユーザ特定違反を含んでいることがわかった。
- 参考スコア（独自算出の注目度）: 0.3757813713418657
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interactive agent benchmarks and multi-turn reinforcement learning increasingly place a second language model in the role of the user. This simulated user controls what information the agent receives and when, yet current benchmarks score only the agent and do not directly measure whether the user correctly executed its assigned role. We introduce UserProxyBench, an evaluation layer over the tau-bench family, and the User Fidelity Score (UFS), which measures adherence to the benchmark's private user instructions using task-grounded rubric criteria scored independently of agent success. Holding the agent fixed at GPT-5.5 and varying only the user proxy across 375 enterprise tasks changes mean task reward by 15.2 points, while 24.4% of successful episodes contain a user-specification violation. The dominant failure is premature disclosure: users provide information before it is requested. This behavior has little effect on task reward, yet among successful episodes it causes the agent to make 1.06 fewer tool calls on average, changing the interaction being evaluated while preserving the reward. Finally, across seven proxies we identify an empirical cost-fidelity frontier, enabling practitioners to select the least expensive simulator that satisfies a required fidelity level.
- Abstract（参考訳）: 対話型エージェントベンチマークとマルチターン強化学習は、ユーザの役割において第2の言語モデルとなる。
このシミュレーションされたユーザは、エージェントが受信した情報と、現在のベンチマークがエージェントのみをスコアし、ユーザが割り当てられたロールを正しく実行したかどうかを直接測定しない。
本稿では,tau-bench ファミリー上の評価層である UserProxyBench と User Fidelity Score (UFS) を紹介する。
GPT-5.5で固定されたエージェントを保持し、375のエンタープライズタスクにまたがるユーザープロキシだけを変更すると、平均タスク報酬は15.2ポイント変更される。
ユーザーは要求される前に情報を提供する。
この振る舞いはタスク報酬にはほとんど影響しないが、成功したエピソードの中でエージェントは平均で1.06のツールコールを減らし、報酬を維持しながら評価されるインタラクションを変化させる。
最後に、私たちは7つのプロキシで、実証的なコスト忠実度フロンティアを特定します。
関連論文リスト
- AdaptArena: Evaluating Test-Time Personalization of Web Agents [93.7336288790761]
本稿では,Webエージェントのテスト時間パーソナライズを評価するベンチマークであるAdaptArenaを紹介する。
また、暗黙の選好推論を標準化するための検索ベースのフレームワークであるAdaptiveAgentを紹介する。
これらの知見は、信頼性の高いユーザ対応Webエージェントをデプロイする上で重要な課題として、暗黙の選好推論とロバストなアクショングラウンドメントを浮き彫りにしている。
論文 参考訳（メタデータ） (2026-09-29T01:46:48Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - Do Agent Benchmarks Measure Capability? Protocol Validity in the Age of Agentic AI [6.058290832294911]
エージェントベンチマークは、リポジトリの編集、Web研究、端末の使用、長期のインタラクションをますます評価している。
最近の報奨ベンチマークとシステムレポートは、エージェントが代わりに公開ソリューションを回復し、評価成果物を読み、ジェネレータ構造を推論し、フィードバックを操作し、不正なスコアリングパスの恩恵を受けることができることを示している。
我々は、プロトコルの有効性を定式化し、露出を特定し、エージェントがどのように使用したかを決定し、その結果のスコアが誤解を招くかどうかを評価するポストホック監査であるHackDetectを導入する。
論文 参考訳（メタデータ） (2026-07-24T14:55:19Z) - AppWorld-UL: Benchmarking Diverse Agent-User Interactions for Tool-Use [38.67550182213879]
AppWorld-ULは、多様なエージェント-ユーザインタラクションを必要とする516の課題のベンチマークである。
我々の評価によると、最先端のLLMであるClaude Opus 4.7は、AppWorld-ULでわずか48.6%の成功しか達成していない。
このことは、ベンチマークの難しさと、ユーザ・イン・ザ・ループ・ツール・エージェントの研究を前進させる可能性を示している。
論文 参考訳（メタデータ） (2026-07-10T16:55:04Z) - SWE-Together: Evaluating Coding Agents in Interactive User Sessions [19.069719245971786]
実際のユーザエージェントコーディングセッションから再構成したマルチターンベンチマークであるSWE-Togetherを紹介する。
11,260のセッションから109のリポジトリレベルのタスクをキュレートし、リカバリ可能なレポジトリステートでセッションを選択します。
我々は、元のユーザの意図を保存し、コーディングエージェントの進捗が必要な時にフィードバックを提供する、リアクティブLLMベースのユーザシミュレータを構築します。
論文 参考訳（メタデータ） (2026-06-29T08:35:15Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - PersonaAgent: When Large Language Model Agents Meet Personalization at Test Time [87.99027488664282]
PersonaAgentは、汎用的なパーソナライゼーションタスクに対処するために設計されたフレームワークである。
パーソナライズされたメモリモジュールとパーソナライズされたアクションモジュールを統合する。
テストタイムのユーザ嗜好アライメント戦略は、リアルタイムのユーザの嗜好アライメントを保証する。
論文 参考訳（メタデータ） (2025-06-06T17:29:49Z) - AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories [61.38499597241457]
我々は,LLM審査員によるWebエージェント評価の有効性を評価する最初のベンチマークであるAgentRewardBenchを提案する。
ベンチマークを用いて,12名のLLM審査員を評価し,全てのベンチマークでLLMが排他的でないことを発見した。
また、一般的なベンチマークで使用されるルールベースの評価は、Webエージェントの成功率を過小評価する傾向にあることも見出した。
論文 参考訳（メタデータ） (2025-04-11T19:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。