論文の概要: JHiMA-WebRL: A Joint Hierarchical Multi-Agent Reinforcement Learning Framework for Long-Horizon Web Tasks
- arxiv url: http://arxiv.org/abs/2611.05263v1
- Date: Tue, 03 Nov 2026 17:49:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 13:25:58.008705
- Title: JHiMA-WebRL: A Joint Hierarchical Multi-Agent Reinforcement Learning Framework for Long-Horizon Web Tasks
- Title（参考訳）: JHiMA-WebRL:長軸Webタスクのための階層型マルチエージェント強化学習フレームワーク
- Abstract要約: マルチモーダルWebエージェントは、グラフィカルユーザインタフェース(GUI)を介してWebサイトと対話する有望な能力を示している。
このようなエージェントは、高レベルプランを共同で推論し、中間状態をナビゲートし、拡張された相互作用履歴の進捗を追跡し、視覚的に接地されたアクションを実行する必要がある。
JHiMA-WebRLは,アクターとタスクデコンポーザを結合したWebエージェントのための階層的マルチエージェント強化学習フレームワークである。
- 参考スコア（独自算出の注目度）: 9.226423336740725
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal web agents have shown promising capabilities for interacting with websites through graphical user interfaces (GUIs), yet realistic web tasks often require long-horizon, multi-step planning that remains challenging for monolithic policies. Such agents must jointly infer high-level plans, navigate through intermediate states, track progress over extended interaction histories, and execute visually grounded actions. Although prior work has explored modular multi-agent systems with a separate planner, the planner is typically not updated jointly with the actor. We investigate whether explicitly separating and jointly training planning and execution provides a stronger inductive bias for long-horizon web navigation. We introduce JHiMA-WebRL, a joint hierarchical multi-agent reinforcement learning framework for web agents that couples a task decomposer with an actor. To train the decomposer, we use a strong teacher model to construct structured subtask supervision from multimodal GUI trajectories, and use these annotations to fine-tune both the decomposer and the subtask-conditioned actor. We then extend Group Relative Policy Optimization (GRPO) to jointly optimize the decomposer and actor in the interactive WebArena environment through hierarchical rollout grouping and role-specific advantages. On WebArena-Lite-v2, JHiMA-WebRL-14B, consisting of a 7B actor and a 7B decomposer, achieves an average success rate of 37.2%, compared with 24% for a ScaleCUA-32B agent that we fine-tune with RL on the same training tasks and evaluate under the same protocol. Ablations show that jointly updating the decomposer during RL outperforms updating the actor alone. These results suggest that jointly learned role factorization with smaller models can be a competitive alternative to scaling monolithic agents for long-horizon web tasks.
- Abstract（参考訳）: マルチモーダルなWebエージェントはグラフィカルなユーザインターフェース(GUI)を通じてWebサイトと対話できる有望な能力を示しているが、現実的なWebタスクは、モノリシックなポリシーでは依然として困難な、長い水平なマルチステップの計画を必要とすることが多い。
このようなエージェントは、高レベルプランを共同で推論し、中間状態をナビゲートし、拡張された相互作用履歴の進捗を追跡し、視覚的に接地されたアクションを実行する必要がある。
以前の作業では、モジュール型のマルチエージェントシステムを別のプランナーで探索していたが、通常はアクターと共同で更新されることはない。
我々は,計画と実行を明確に分離し,共同で訓練することが,長期ウェブナビゲーションに強い帰納バイアスをもたらすかどうかを考察する。
JHiMA-WebRLは,アクターとタスクデコンポーザを結合したWebエージェントのための階層的マルチエージェント強化学習フレームワークである。
マルチモーダルGUIトラジェクトリから構造化サブタスクの教師モデルを構築し,これらのアノテーションを用いてデコンポスタとサブタスク条件付きアクタの両方を微調整する。
次に、グループ相対ポリシー最適化(GRPO)を拡張し、階層的なロールアウトグループ化とロール固有のアドバンテージを通じて、インタラクティブなWebArena環境におけるデコンポザとアクタを協調的に最適化する。
WebArena-Lite-v2では、7Bアクターと7Bデコンポザで構成されるJHiMA-WebRL-14Bが平均37.2%の成功率を達成した。
アブレーションは、RL中のデコンポザを共同で更新することで、アクターのみを更新することを示している。
これらの結果から,より小さなモデルと協調的に学習した役割因数分解は,長期のWebタスクにおいてモノリシックエージェントをスケールする競合の代替となる可能性が示唆された。
関連論文リスト
- Rethinking Multi-Agent Collaboration: When More Is Less [26.665862829215587]
本稿では,Semantic-Aware Incremental Graph Evolutionに基づく,軽量なマルチエージェント協調機構であるSAIGEを提案する。
SAIGEは文脈効率とタスク性能のトレードオフを良好に実現していることを示す。
以上の結果から,マルチエージェントの優越性は普遍的ではなくタスク構造によって制限されていることが示唆された。
論文 参考訳（メタデータ） (2026-09-17T06:29:12Z) - FRAMEWORKERS: A Dynamic Multi-Agent Framework for AI-Generated Video Production [55.71860113185132]
本稿では,タスク中心のマルチエージェントフレームワークであるFRAMEWORKERSを紹介した。
Central Directorは、ビデオ生成を動的タスク管理として定式化し、タスクスタックを継続的に編集して、次にどのサブタスクを実行するか、どのサブエージェントを呼び出すかを決定する。
アシスタントは実行層として機能し、選択した各タスクを共有ワークスペースに接地し、必要なアセットとコンテキストを検索し、割り当てられたサブエージェントを呼び出し、結果のアーティファクトを永続化する。
FRAMEWORKERSは、ルーティング精度において強いプランナーよりも優れ、実行時の障害から確実に回復し、目に見えないサブに一般化することを示した。
論文 参考訳（メタデータ） (2026-08-30T14:28:50Z) - Multi$^2$: Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments [5.37133760455631]
大規模言語モデル(LLM)研究の中心的な目標は、動的環境との持続的な相互作用を計画し、行動し、適応できるエージェントシステムを構築することである。
エージェントの振る舞いを補完的な役割に明示的に分解する階層的マルチエージェント意思決定フレームワークであるMulti$2$を紹介する。
高レベルエージェント(システム1)は、教師付き微調整(SFT)を用いたコンテキスト認識サブゴール生成に焦点を当て、低レベルエージェント(システム2)は、対話型環境でオフラインからオンラインへの強化学習(RL)を通してアトミックアクションを実行する。
論文 参考訳（メタデータ） (2026-06-02T14:20:09Z) - GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。
eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。
i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
論文 参考訳（メタデータ） (2026-05-28T01:05:50Z) - Small Model as Master Orchestrator: Learning Unified Agent-Tool Orchestration with Parallel Subtask Decomposition [61.291733522717415]
Agent-as-Toolは並列オーケストレーションのパラダイムであり、エージェントとツールの両方を標準化された学習可能なアクション空間に緩和する。
ParaManagerは、サブタスク解決から計画決定を分離し、ステート対応の並列サブタスク分解、デリゲート、非同期実行を可能にする。
実験により、ParaManagerは複数のベンチマークで高い性能を示し、目に見えないモデルプールの下で堅牢な一般化を示す。
論文 参考訳（メタデータ） (2026-04-18T14:41:27Z) - OrgAgent: Organize Your Multi-Agent System like a Company [75.47076168155817]
企業スタイルの階層型マルチエージェントフレームワークであるOrgAgentを紹介します。
企業スタイルの階層で組織されたマルチエージェントシステムは、一般的に他の組織構造よりも優れています。
論文 参考訳（メタデータ） (2026-04-01T15:21:14Z) - OpAgent: Operator Agent for Web Navigation [23.928869500029432]
我々は、オンラインインタラクション環境を開発し、特殊なRLパイプラインを用いてビジョン・ランゲージ・モデル(VLM)を微調整する。
本稿では,総合的な結果評価のためのWebJudgeと,進捗報酬のためのルールベース決定木(RDT)を組み合わせたハイブリッド・リワード機構を提案する。
特に、我々のRL強化モデルは、WebArena上で38.1%の成功率(pass@5)を達成し、既存のモノリシックなベースラインを上回ります。
論文 参考訳（メタデータ） (2026-02-14T02:33:55Z) - Conditional Diffusion Model for Multi-Agent Dynamic Task Decomposition [28.219354326144654]
動的タスク分解のための条件拡散モデル(C$textDtext3$T)
サブタスクとコーディネーションパターンを自動的に推論するように設計された2階層型MARLフレームワーク。
エージェントは、割り当てられたサブタスク内で特別なスキルを共同で学び、共有する。
論文 参考訳（メタデータ） (2025-11-17T08:46:31Z) - Multi-Agent Collaboration via Evolving Orchestration [55.574417128944226]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な成果を上げているが、そのモノリシックな性質は複雑な問題解決におけるスケーラビリティと効率を制限している。
LLMに基づくマルチエージェントコラボレーションのためのパウチスタイルのパラダイムを提案し,タスク状態の進化に応じて,中央集権的なオーケストレータ("puppeteer")がエージェント("puppets")を動的に指示する。
クローズドドメインおよびオープンドメインシナリオの実験により,この手法は計算コストを低減し,優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2025-05-26T07:02:17Z) - MALib: A Parallel Framework for Population-based Multi-agent
Reinforcement Learning [61.28547338576706]
人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。
PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
論文 参考訳（メタデータ） (2021-06-05T03:27:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。