論文の概要: DynaRev: Benchmarking Web Agents under Dynamic Goal Revision
- arxiv url: http://arxiv.org/abs/2610.40133v1
- Date: Thu, 29 Oct 2026 14:25:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.095855
- Title: DynaRev: Benchmarking Web Agents under Dynamic Goal Revision
- Title（参考訳）: DynaRev: 動的ゴール修正の下でWebエージェントをベンチマークする
- Abstract要約: DynaRevは、動的ゴール修正の下でWebエージェントを評価する181タスクのベンチマークである。
5モデル評価は、エージェントがしばしばタスク要求の一部だけを満たすことを示している。
さらなる分析により、様々なマイルストーンのタイミング、ダイナミックデリバリの混合効果、リビジョン処理結果の対比が明らかになった。
- 参考スコア（独自算出の注目度）: 28.059934879058446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Web agents are typically evaluated with goals fully specified before execution and fixed thereafter, whereas real users often revise their requirements during interaction. To study such interactions, we introduce DynaRev, a benchmark of 181 tasks to evaluate web agents under dynamic goal revision. DynaRev uses semantic milestones to deliver revisions at task-defined stages, covers additive revisions, unconditional overrides, and runtime-conditioned overrides, and evaluates correctness, responsiveness, and efficiency through trajectory-grounded evaluation. Five-model evaluations show that agents often satisfy only part of the task requirements, with performance varying across task sources, revision types, and models. Further analyses reveal varied milestone timing, mixed effects of dynamic delivery, and contrasting revision-handling outcomes, with gains from instruction rewriting while preserving browser state and losses from browser resets. DynaRev provides a testbed for studying how web agents adapt to evolving user goals. The code and data are available at https://github.com/zsq259/DynaRev.
- Abstract（参考訳）: Webエージェントは通常、実行前に完全に指定されたゴールで評価され、その後修正される。
このようなインタラクションを研究するために、動的ゴール修正の下でWebエージェントを評価するための181タスクのベンチマークであるDynaRevを紹介した。
DynaRevは、セマンティックなマイルストーンを使用して、タスク定義段階のリビジョンを提供し、追加のリビジョン、無条件のオーバーライド、ランタイム条件のオーバーライドをカバーし、軌道上での評価を通じて正確性、応答性、効率を評価する。
5つのモデル評価は、エージェントがタスクの要求の一部だけを満たすことがあり、タスクソース、リビジョンタイプ、モデルによってパフォーマンスが異なることを示している。
さらに分析した結果,ブラウザ状態の保存やブラウザリセットの損失など,マイルストーンのタイミング,動的配信の混合効果,リフレッシュ処理結果の対比などが明らかになった。
DynaRevは、Webエージェントがユーザ目標の進化にどのように適応するかを研究するためのテストベッドを提供する。
コードとデータはhttps://github.com/zsq259/DynaRev.comで公開されている。
関連論文リスト
- FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。
レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。
我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
論文 参考訳（メタデータ） (2026-04-14T17:04:25Z) - WebArXiv: Evaluating Multimodal Agents on Time-Invariant arXiv Tasks [7.4706262500758385]
本稿では,自律型Webエージェント評価のためのベンチマークであるWebArXivを紹介する。
WebArXivは、arXivプラットフォーム上に275のWebベースのタスクで構成されている。
エージェントが関連する過去のステップを選択的に検索できる軽量な動的反射機構を提案する。
論文 参考訳（メタデータ） (2025-07-01T16:43:57Z) - REAL: Benchmarking Autonomous Agents on Deterministic Simulations of Real Websites [9.58858258192147]
実世界のWebサイトの決定論的シミュレーションにおけるマルチターンエージェント評価のためのベンチマークおよびフレームワークであるREALを紹介する。
また、日々の複雑なユーザインタラクションを反映した112の実践的なタスクからなるベンチマークもリリースしています。
我々のフレームワークは、新しいタスクの容易な統合、再現可能な評価、スケーラブルな後学習データ生成をサポートします。
論文 参考訳（メタデータ） (2025-04-15T18:22:55Z) - AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories [61.38499597241457]
我々は,LLM審査員によるWebエージェント評価の有効性を評価する最初のベンチマークであるAgentRewardBenchを提案する。
ベンチマークを用いて,12名のLLM審査員を評価し,全てのベンチマークでLLMが排他的でないことを発見した。
また、一般的なベンチマークで使用されるルールベースの評価は、Webエージェントの成功率を過小評価する傾向にあることも見出した。
論文 参考訳（メタデータ） (2025-04-11T19:49:22Z) - The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。
本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。
大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
論文 参考訳（メタデータ） (2024-12-06T23:43:59Z) - TestAgent: Automatic Benchmarking and Exploratory Interaction for Evaluating LLMs in Vertical Domains [19.492393243160244]
大規模言語モデル(LLM)は、高度に専門化された垂直ドメインにデプロイされることが多い。
既存の垂直領域の評価は、通常、静的な単一ターンデータセットの労働集約的な構築に依存している。
垂直領域における自動ベンチマークと探索動的評価のためのフレームワークであるTestAgentを提案する。
論文 参考訳（メタデータ） (2024-10-15T11:20:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。