論文の概要: DynaWeb: Model-Based Reinforcement Learning of Web Agents

• arxiv url: http://arxiv.org/abs/2601.22149v1
• Date: Thu, 29 Jan 2026 18:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:50.105775
• Title: DynaWeb: Model-Based Reinforcement Learning of Web Agents
• Title（参考訳）: DynaWeb: Webエージェントのモデルベース強化学習
• Authors: Hang Ding, Peidong Liu, Junqiao Wang, Ziwei Ji, Meng Cao, Rongzhao Zhang, Lynn Ai, Eric Yang, Tianyu Shi, Lei Yu,
• Abstract要約: DynaWebは、自然主義的なWebページ表現を予測するために訓練されたWebワールドモデルと対話することで、Webエージェントを訓練するフレームワークである。 本研究は,オンラインエージェントRLをスケールアップするスケーラブルで効率的な方法として,Webエージェントを想像力で訓練することの可能性を実証するものである。
• 参考スコア（独自算出の注目度）: 27.869298392260358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of autonomous web agents, powered by Large Language Models (LLMs) and reinforcement learning (RL), represents a significant step towards general-purpose AI assistants. However, training these agents is severely hampered by the challenges of interacting with the live internet, which is inefficient, costly, and fraught with risks. Model-based reinforcement learning (MBRL) offers a promising solution by learning a world model of the environment to enable simulated interaction. This paper introduces DynaWeb, a novel MBRL framework that trains web agents through interacting with a web world model trained to predict naturalistic web page representations given agent actions. This model serves as a synthetic web environment where an agent policy can dream by generating vast quantities of rollout action trajectories for efficient online reinforcement learning. Beyond free policy rollouts, DynaWeb incorporates real expert trajectories from training data, which are randomly interleaved with on-policy rollouts during training to improve stability and sample efficiency. Experiments conducted on the challenging WebArena and WebVoyager benchmarks demonstrate that DynaWeb consistently and significantly improves the performance of state-of-the-art open-source web agent models. Our findings establish the viability of training web agents through imagination, offering a scalable and efficient way to scale up online agentic RL.
• Abstract（参考訳）: 大規模言語モデル(LLM)と強化学習(RL)を活用した自律型Webエージェントの開発は、汎用AIアシスタントへの重要な一歩である。 しかし、これらのエージェントの訓練は、非効率でコストがかかり、リスクが伴うライブインターネットとの相互作用の難しさによって、著しく妨げられている。 モデルベース強化学習(MBRL)は、シミュレーションインタラクションを可能にする環境のワールドモデルを学ぶことによって、有望なソリューションを提供する。 本稿では,エージェントアクションが与えられた自然なWebページ表現を予測するために訓練されたWebワールドモデルと対話することで,Webエージェントを訓練する新しいMBRLフレームワークであるDynaWebを紹介する。 このモデルは、効率的なオンライン強化学習のための大量のロールアウトアクショントラジェクトリを生成することで、エージェントポリシーが夢見ることができる合成ウェブ環境として機能する。 無料のポリシーのロールアウト以外にも、DynaWebはトレーニングデータから実際の専門家のトラジェクトリを取り入れており、トレーニング中にオンラインのロールアウトとランダムにインターリーブされ、安定性とサンプル効率が改善されている。 挑戦的なWebArenaとWebVoyagerベンチマークで実施された実験は、DynaWebが一貫して、最先端のオープンソースWebエージェントモデルの性能を大幅に改善していることを示している。 本研究は,オンラインエージェントRLをスケールアップするスケーラブルで効率的な方法として,Webエージェントを想像力で訓練することの可能性を実証するものである。

関連論文リスト

• Scaling Agent Learning via Experience Synthesis [100.42712232390532]
  強化学習は、対話を通じて自己改善を行うことで、自律的なエージェントに力を与えることができる。 しかし、コストのかかるロールアウト、タスクの多様性の制限、信頼性の低い報奨信号、インフラストラクチャの複雑さによって、その実践的採用は依然として困難である。 私たちはDreamGymを紹介します。DreamGymはスケーラビリティを念頭において多様なエクスペリエンスを合成するために設計された最初の統合フレームワークです。
  論文  参考訳（メタデータ） (2025-11-05T18:58:48Z)
• WebSynthesis: World-Model-Guided MCTS for Efficient WebUI-Trajectory Synthesis [34.998277998052444]
  本稿では,軌道合成と学習のための新しいフレームワークであるWebSynthesisを提案する。 本稿では,WebSynthesis を用いて訓練したエージェントが,大規模実世界のデータに対してトレーニングしたモデルに匹敵する,あるいはそれ以上の性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-07-06T12:31:10Z)
• WebCoT: Enhancing Web Agent Reasoning by Reconstructing Chain-of-Thought in Reflection, Branching, and Rollback [78.55946306325914]
  有効なWebエージェントに必要な重要な推論スキルを同定する。 我々はエージェントの推論アルゴリズムを連鎖論理に再構成する。 このアプローチは、複数のベンチマークで大幅に改善される。
  論文  参考訳（メタデータ） (2025-05-26T14:03:37Z)
• WebAgent-R1: Training Web Agents via End-to-End Multi-Turn Reinforcement Learning [36.47273215142354]
  WebAgent-R1は、Webエージェントをトレーニングするためのエンドツーエンドのマルチターン強化学習フレームワークである。 WebArena-Liteベンチマークの実験は、WebAgent-R1の有効性を示し、Qwen-2.5-3Bのタスク成功率を6.1%から33.9%に向上させた。 In-depth Analysis revealed the effect of the thinking-based prompting strategy and test-time scaling through increase interaction for web task。
  論文  参考訳（メタデータ） (2025-05-22T09:07:43Z)
• WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model [55.276852838877346]
  自己進化型エージェントは、独自のポリシーに基づいて、自律的にサンプリングされた軌道上で訓練される。 我々は,共進化型世界モデルLLMを導入する新しいフレームワークを提案する。 この世界モデルは、Web環境における現在の観察と行動に基づいて、次の観測を予測します。
  論文  参考訳（メタデータ） (2025-04-23T02:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。