論文の概要: DynaWeb: Model-Based Reinforcement Learning of Web Agents
- arxiv url: http://arxiv.org/abs/2601.22149v1
- Date: Thu, 29 Jan 2026 18:59:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:50.105775
- Title: DynaWeb: Model-Based Reinforcement Learning of Web Agents
- Title（参考訳）: DynaWeb: Webエージェントのモデルベース強化学習
- Authors: Hang Ding, Peidong Liu, Junqiao Wang, Ziwei Ji, Meng Cao, Rongzhao Zhang, Lynn Ai, Eric Yang, Tianyu Shi, Lei Yu,
- Abstract要約: DynaWebは、自然主義的なWebページ表現を予測するために訓練されたWebワールドモデルと対話することで、Webエージェントを訓練するフレームワークである。
本研究は,オンラインエージェントRLをスケールアップするスケーラブルで効率的な方法として,Webエージェントを想像力で訓練することの可能性を実証するものである。
- 参考スコア（独自算出の注目度）: 27.869298392260358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The development of autonomous web agents, powered by Large Language Models (LLMs) and reinforcement learning (RL), represents a significant step towards general-purpose AI assistants. However, training these agents is severely hampered by the challenges of interacting with the live internet, which is inefficient, costly, and fraught with risks. Model-based reinforcement learning (MBRL) offers a promising solution by learning a world model of the environment to enable simulated interaction. This paper introduces DynaWeb, a novel MBRL framework that trains web agents through interacting with a web world model trained to predict naturalistic web page representations given agent actions. This model serves as a synthetic web environment where an agent policy can dream by generating vast quantities of rollout action trajectories for efficient online reinforcement learning. Beyond free policy rollouts, DynaWeb incorporates real expert trajectories from training data, which are randomly interleaved with on-policy rollouts during training to improve stability and sample efficiency. Experiments conducted on the challenging WebArena and WebVoyager benchmarks demonstrate that DynaWeb consistently and significantly improves the performance of state-of-the-art open-source web agent models. Our findings establish the viability of training web agents through imagination, offering a scalable and efficient way to scale up online agentic RL.
- Abstract（参考訳）: 大規模言語モデル(LLM)と強化学習(RL)を活用した自律型Webエージェントの開発は、汎用AIアシスタントへの重要な一歩である。
しかし、これらのエージェントの訓練は、非効率でコストがかかり、リスクが伴うライブインターネットとの相互作用の難しさによって、著しく妨げられている。
モデルベース強化学習(MBRL)は、シミュレーションインタラクションを可能にする環境のワールドモデルを学ぶことによって、有望なソリューションを提供する。
本稿では,エージェントアクションが与えられた自然なWebページ表現を予測するために訓練されたWebワールドモデルと対話することで,Webエージェントを訓練する新しいMBRLフレームワークであるDynaWebを紹介する。
このモデルは、効率的なオンライン強化学習のための大量のロールアウトアクショントラジェクトリを生成することで、エージェントポリシーが夢見ることができる合成ウェブ環境として機能する。
無料のポリシーのロールアウト以外にも、DynaWebはトレーニングデータから実際の専門家のトラジェクトリを取り入れており、トレーニング中にオンラインのロールアウトとランダムにインターリーブされ、安定性とサンプル効率が改善されている。
挑戦的なWebArenaとWebVoyagerベンチマークで実施された実験は、DynaWebが一貫して、最先端のオープンソースWebエージェントモデルの性能を大幅に改善していることを示している。
本研究は,オンラインエージェントRLをスケールアップするスケーラブルで効率的な方法として,Webエージェントを想像力で訓練することの可能性を実証するものである。
関連論文リスト
- WebFactory: Automated Compression of Foundational Language Intelligence into Grounded Web Agents [20.85611634311147]
本稿では,GUIエージェントのための完全自動クローズドループ強化学習パイプラインであるWebFactoryを紹介する。
我々のエージェントは例外的なデータ効率と一般化を実証する。
この研究は、受動的インターネット知識をアクティブで接地されたインテリジェンスに変換するためのスケーラブルで費用効率のよいパラダイムを提示します。
論文 参考訳（メタデータ） (2026-03-05T10:51:34Z) - OpAgent: Operator Agent for Web Navigation [23.928869500029432]
我々は、オンラインインタラクション環境を開発し、特殊なRLパイプラインを用いてビジョン・ランゲージ・モデル(VLM)を微調整する。
本稿では,総合的な結果評価のためのWebJudgeと,進捗報酬のためのルールベース決定木(RDT)を組み合わせたハイブリッド・リワード機構を提案する。
特に、我々のRL強化モデルは、WebArena上で38.1%の成功率(pass@5)を達成し、既存のモノリシックなベースラインを上回ります。
論文 参考訳（メタデータ） (2026-02-14T02:33:55Z) - Scaling Agent Learning via Experience Synthesis [100.42712232390532]
強化学習は、対話を通じて自己改善を行うことで、自律的なエージェントに力を与えることができる。
しかし、コストのかかるロールアウト、タスクの多様性の制限、信頼性の低い報奨信号、インフラストラクチャの複雑さによって、その実践的採用は依然として困難である。
私たちはDreamGymを紹介します。DreamGymはスケーラビリティを念頭において多様なエクスペリエンスを合成するために設計された最初の統合フレームワークです。
論文 参考訳（メタデータ） (2025-11-05T18:58:48Z) - WebSynthesis: World-Model-Guided MCTS for Efficient WebUI-Trajectory Synthesis [34.998277998052444]
本稿では,軌道合成と学習のための新しいフレームワークであるWebSynthesisを提案する。
本稿では,WebSynthesis を用いて訓練したエージェントが,大規模実世界のデータに対してトレーニングしたモデルに匹敵する,あるいはそれ以上の性能を達成することを示す。
論文 参考訳（メタデータ） (2025-07-06T12:31:10Z) - WebCoT: Enhancing Web Agent Reasoning by Reconstructing Chain-of-Thought in Reflection, Branching, and Rollback [78.55946306325914]
有効なWebエージェントに必要な重要な推論スキルを同定する。
我々はエージェントの推論アルゴリズムを連鎖論理に再構成する。
このアプローチは、複数のベンチマークで大幅に改善される。
論文 参考訳（メタデータ） (2025-05-26T14:03:37Z) - WebAgent-R1: Training Web Agents via End-to-End Multi-Turn Reinforcement Learning [36.47273215142354]
WebAgent-R1は、Webエージェントをトレーニングするためのエンドツーエンドのマルチターン強化学習フレームワークである。
WebArena-Liteベンチマークの実験は、WebAgent-R1の有効性を示し、Qwen-2.5-3Bのタスク成功率を6.1%から33.9%に向上させた。
In-depth Analysis revealed the effect of the thinking-based prompting strategy and test-time scaling through increase interaction for web task。
論文 参考訳（メタデータ） (2025-05-22T09:07:43Z) - WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model [55.276852838877346]
自己進化型エージェントは、独自のポリシーに基づいて、自律的にサンプリングされた軌道上で訓練される。
我々は,共進化型世界モデルLLMを導入する新しいフレームワークを提案する。
この世界モデルは、Web環境における現在の観察と行動に基づいて、次の観測を予測します。
論文 参考訳（メタデータ） (2025-04-23T02:54:31Z) - Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents [64.75036903373712]
Proposer-Agent-Evaluatorは、基礎モデルエージェントが野生のスキルを自律的に発見し、実践することを可能にする学習システムである。
PAEの中心となるタスクプロポーサは、エージェントがコンテキスト情報で実践するためのタスクを自律的に提案するコンテキスト対応タスクプロポーサである。
成功評価は、エージェントがRLを介してポリシーを洗練するための報酬信号として機能する。
論文 参考訳（メタデータ） (2024-12-17T18:59:50Z) - OpenWebVoyager: Building Multimodal Web Agents via Iterative Real-World Exploration, Feedback and Optimization [66.22117723598872]
マルチモーダルWebエージェントの開発を容易にするために設計されたオープンソースフレームワークを紹介する。
まず、基本モデルを模倣学習で訓練し、基礎能力を得る。
次に、エージェントにオープンウェブを探索させ、その軌道に関するフィードバックを収集する。
論文 参考訳（メタデータ） (2024-10-25T15:01:27Z) - Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。
主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。
本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
論文 参考訳（メタデータ） (2023-06-06T02:24:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。