論文の概要: AdaptArena: Evaluating Test-Time Personalization of Web Agents
- arxiv url: http://arxiv.org/abs/2609.36488v1
- Date: Tue, 29 Sep 2026 01:46:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.098087
- Title: AdaptArena: Evaluating Test-Time Personalization of Web Agents
- Title（参考訳）: AdaptArena: Webエージェントのテスト時間パーソナライゼーションの評価
- Abstract要約: 本稿では,Webエージェントのテスト時間パーソナライズを評価するベンチマークであるAdaptArenaを紹介する。
また、暗黙の選好推論を標準化するための検索ベースのフレームワークであるAdaptiveAgentを紹介する。
これらの知見は、信頼性の高いユーザ対応Webエージェントをデプロイする上で重要な課題として、暗黙の選好推論とロバストなアクショングラウンドメントを浮き彫りにしている。
- 参考スコア（独自算出の注目度）: 93.7336288790761
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) agents have demonstrated strong performance on complex web navigation tasks, yet they remain brittle in real-world settings where user intentions are underspecified and preferences are heterogeneous. In practice, users rarely provide explicit profiles, requiring agents to infer latent preferences from implicit signals. Despite its importance for deployment, this problem setting is largely underexplored in existing benchmarks. To address this gap, we introduce AdaptArena, a benchmark for evaluating test-time personalization of web agents via implicit preference inference. AdaptArena consists of 480 tasks, featuring both single-preference and double-preference scenarios. Each evaluation task must be solved by retrieving and leveraging the most relevant historical user trajectory that implicitly encodes the target preference. In addition, we introduce AdaptiveAgent, a retrieval-based framework for standardized evaluation of implicit preference inference. Experiments reveal a substantial performance gap: while oracle agents with access to ground-truth preferences achieve an 82.92% success rate, the evaluated LLM agents using our framework reach at most 15.62%. Furthermore, we find that correctly inferring user preferences is necessary but not sufficient for task success, as execution failures in downstream web interactions remain a significant bottleneck even when agents align with the target preference. These findings highlight implicit preference inference and robust action grounding as key challenges for deploying reliable, user-facing web agents. We release our code: https://github.com/McGill-NLP/web-agents-test-time-adaptations
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは複雑なWebナビゲーションタスクにおいて高いパフォーマンスを示してきたが、ユーザの意図が不明確で、嗜好が不均一な現実世界では不安定なままである。
実際には、ユーザは明示的なプロファイルをほとんど提供せず、エージェントは暗黙の信号から潜在的な好みを推測する必要がある。
デプロイメントの重要性にもかかわらず、この問題設定は既存のベンチマークではほとんど探索されていない。
このギャップに対処するために、暗黙の選好推論によってWebエージェントのテスト時間パーソナライズを評価するベンチマークAdaptArenaを紹介する。
AdaptArenaは480のタスクで構成される。
各評価タスクは、ターゲットの嗜好を暗黙的にエンコードする最も関連性の高い歴史的ユーザトラジェクトリを検索して活用することによって解決されなければならない。
さらに、暗黙の選好推論の標準化評価のための検索ベースのフレームワークであるAdaptiveAgentを紹介する。
地道的嗜好にアクセスできるオラクルエージェントは82.92%の成功率を達成する一方、評価されたLLMエージェントは、我々のフレームワークを使用した場合、最大で15.62%に達する。
さらに、下流のWebインタラクションにおける実行障害は、エージェントがターゲットの嗜好と整合している場合でも、重要なボトルネックであり続けるため、ユーザの選好を正しく推測する必要があるが、タスクの成功には不十分であることが判明した。
これらの知見は、信頼性の高いユーザ対応Webエージェントをデプロイする上で重要な課題として、暗黙の選好推論とロバストなアクショングラウンドメントを浮き彫りにしている。
https://github.com/McGill-NLP/web-agents-test-time-adaptations
関連論文リスト
- UserProxyBench: Evaluating LLM User Simulators for Agent Benchmarks and Training [0.3757813713418657]
現在のベンチマークはエージェントのみをスコアし、ユーザが割り当てられたロールを正しく実行したかどうかを直接測定しない。
本稿では,tau-benchファミリ上の評価層であるUser ProxyBenchと,ベンチマークのプライベートユーザ命令への準拠性を測定するUser Fidelity Score(UFS)を紹介する。
GPT-5.5で固定されたエージェントを保持し、375のエンタープライズタスクにまたがるユーザプロキシだけを変更すると、タスク報酬の平均15.2ポイントが変更され、成功エピソードの24.4%がユーザ特定違反を含んでいることがわかった。
論文 参考訳（メタデータ） (2026-09-29T17:17:24Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - AcCoRD: Evaluating User-Agent Collaboration Under Realistic User Preference Dynamics [13.692601337126462]
ユーザとエージェントのコラボレーションを評価するための既存のベンチマークは、ほとんど特定されていない好みの解決に重点を置いている。
我々は,オンラインショッピングと旅行計画という2つの領域において,多様なユーザ嗜好のダイナミクスを扱うエージェントを必要とするユーザエージェントコラボレーションベンチマークであるAcCoRDを紹介した。
論文 参考訳（メタデータ） (2026-08-28T01:34:38Z) - From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - SWE-Together: Evaluating Coding Agents in Interactive User Sessions [19.069719245971786]
実際のユーザエージェントコーディングセッションから再構成したマルチターンベンチマークであるSWE-Togetherを紹介する。
11,260のセッションから109のリポジトリレベルのタスクをキュレートし、リカバリ可能なレポジトリステートでセッションを選択します。
我々は、元のユーザの意図を保存し、コーディングエージェントの進捗が必要な時にフィードバックを提供する、リアクティブLLMベースのユーザシミュレータを構築します。
論文 参考訳（メタデータ） (2026-06-29T08:35:15Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
Retrieval-Augmented Generationは、大規模な言語モデル幻覚を緩和するための強力なアプローチとして登場した。
既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。
本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:56:20Z) - Ranking Models in Unlabeled New Environments [74.33770013525647]
ラベルのない新しい環境におけるランキングモデルの問題を紹介する。
1)完全にラベル付けされたプロキシデータセットを使用し、2)所定のターゲット環境での真のモデルランキングをよく反映します。
具体的には、ラベル付けされていないターゲットドメインに近いデータセットは、相対的なパフォーマンスランキングをよりよく保存する。
論文 参考訳（メタデータ） (2021-08-23T17:57:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。