論文の概要: MolmoWeb: Open Visual Web Agent and Open Data for the Open Web
- arxiv url: http://arxiv.org/abs/2604.08516v1
- Date: Thu, 09 Apr 2026 17:54:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:06.061066
- Title: MolmoWeb: Open Visual Web Agent and Open Data for the Open Web
- Title（参考訳）: MolmoWeb: Open Visual Web AgentとOpen Data for the Open Web
- Abstract要約: MolmoWebMixはブラウザのタスクとWeb-GUIの知覚データを組み合わせたものだ。
MolmoWeb-8Bは、完全にオープンなマルチモーダルWebエージェントのファミリーである。
我々は、Webエージェントのオープンな研究を可能にするため、モデルチェックポイント、トレーニングデータ、コード、統一された評価ハーネスをリリースする。
- 参考スコア（独自算出の注目度）: 60.29597961827816
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Web agents--autonomous systems that navigate and execute tasks on the web on behalf of users--have the potential to transform how people interact with the digital world. However, the most capable web agents today rely on proprietary models with undisclosed training data and recipes, limiting scientific understanding, reproducibility, and community-driven progress. We believe agents for the open web should be built in the open. To this end, we introduce (1) MolmoWebMix, a large and diverse mixture of browser task demonstrations and web-GUI perception data and (2) MolmoWeb, a family of fully open multimodal web agents. Specifically, MolmoWebMix combines over 100K synthetic task trajectories from multiple complementary generation pipelines with 30K+ human demonstrations, atomic web-skill trajectories, and GUI perception data, including referring expression grounding and screenshot question answering. MolmoWeb agents operate as instruction-conditioned visual-language action policies: given a task instruction and a webpage screenshot, they predict the next browser action, requiring no access to HTML, accessibility trees, or specialized APIs. Available in 4B and 8B size, on browser-use benchmarks like WebVoyager, Online-Mind2Web, and DeepShop, MolmoWeb agents achieve state-of-the-art results outperforming similar scale open-weight-only models such as Fara-7B, UI-Tars-1.5-7B, and Holo1-7B. MolmoWeb-8B also surpasses set-of-marks (SoM) agents built on much larger closed frontier models like GPT-4o. We further demonstrate consistent gains through test-time scaling via parallel rollouts with best-of-N selection, achieving 94.7% and 60.5% pass@4 (compared to 78.2% and 35.3% pass@1) on WebVoyager and Online-Mind2Web respectively. We will release model checkpoints, training data, code, and a unified evaluation harness to enable reproducibility and accelerate open research on web agents.
- Abstract（参考訳）: Webエージェント – ユーザに代わってWeb上でタスクをナビゲートし実行する自律システム – は,人々がデジタル世界と対話する方法を変革する可能性を持っている。
しかし、今日の最も有能なWebエージェントは、科学的な理解、再現性、およびコミュニティ主導の進歩を制限する、未公表のトレーニングデータとレシピを持つプロプライエタリなモデルに依存している。
オープンなWebのエージェントは、オープンに構築されるべきである、と私たちは信じています。
この目的のために,(1)MolmoWebMix,(1)ブラウザタスクとWeb-GUI知覚データの多種多様な混合,(2)MolmoWeb,(2)完全にオープンなマルチモーダルWebエージェントのファミリーを紹介する。
具体的には、M MolmoWebMixは、複数の補完的な生成パイプラインから合成された100K以上のタスクトラジェクトリと、30K以上の人間のデモ、アトミックなWebスキルトラジェクトリ、GUI知覚データを組み合わせる。
MolmoWebエージェントは、タスク命令とWebページのスクリーンショットが与えられたら、次のブラウザアクションを予測し、HTML、アクセシビリティツリー、特別なAPIへのアクセスを必要としない。
4Bと8Bサイズで、WebVoyager、Online-Mind2Web、DeepShopなどのブラウザ使用ベンチマークで、MomoWebエージェントは、Fara-7B、UI-Tars-1.5-7B、Holo1-7Bのような、同様のスケールのオープンウェイトオンリーモデルよりもパフォーマンスが優れている。
MolmoWeb-8B は GPT-4o のような大型のクローズドフロンティアモデル上に構築されたset-of-marks (SoM) エージェントを超越している。
さらに、WebVoyagerとOnline-Mind2Webで94.7%、60.5%のpass@4(それぞれ78.2%、35.3%のpass@1)を達成した。
我々は、再現性を実現し、Webエージェントのオープンな研究を加速するために、モデルチェックポイント、トレーニングデータ、コード、統一された評価ハーネスをリリースする。
関連論文リスト
- BrowserForge: Scaling Web Episode via Parallel Browser Sandboxes [54.96895469970198]
BrowserForgeは、オープンなWeb上で多くのブラウザサンドボックスを並行して駆動することで、大規模なWebインタラクションデータを生成する。
BrowserForgeには3つのコンポーネントがある: オープンなWebソーシングステージ。
ルール+モデルクリーニングパイプラインは、失敗した実行を除去し、生き残った推論を単一の統合されたチェーン・オブ・シンクスタイルに書き換える。
論文 参考訳（メタデータ） (2026-08-25T17:35:42Z) - WebGrader: Training LLMs for Web Development with Self-Evolving Programmatic Grader [23.87868496043721]
本稿では,WebGraderを提案する。WebGraderは,各Webサイトからの対話フローを自律的に導出する,自己進化型プログラムグレーダである。
WebGraderは、生成されたプロジェクトをライブブラウザで実現し、ソースコードとライブDOMに対してターゲットアクションを接地し、ビジュアル、DOM、レスポンス、永続状態のエビデンスを収集します。
WebGen-Benchでは、WebGraderは8Bポリシーを52.01%の機能的な成功率にトレーニングし、マッチした外見+スクリプトの報酬を7.88ポイント上回り、o4-miniとDeepSeek-v4-flashを上回っている。
論文 参考訳（メタデータ） (2026-08-06T18:06:12Z) - WebExplorer: Explore and Evolve for Training Long-Horizon Web Agents [57.203515352080295]
本稿では,モデルに基づく探索と反復的,長短のクエリ進化を用いた体系的データ生成手法であるWebExplorerを紹介する。
我々のモデルは、128Kのコンテキスト長と最大100のツール呼び出しスイッチをサポートし、長期の問題解決を可能にします。
8Bサイズのモデルとして、WebExplorer-8Bは、RLトレーニング後の平均16ターンを効果的に探索することができる。
論文 参考訳（メタデータ） (2025-09-08T10:07:03Z) - WebSight: A Vision-First Architecture for Robust Web Agents [0.0]
WebSightは視覚的知覚によって純粋にWeb環境と対話するように設計された視覚ベースのWebエージェントである。
UI要素のインタラクションに最適化された視覚言語モデルであるWebSight-7Bを紹介する。
WebSight-7BはShowdown Clicksベンチマークで58.84%のトップ1の精度を達成し、より大規模なジェネラリストモデルを上回った。
WebSightとWebSight-7Bは、解釈可能で堅牢で効率的なビジュアルWebナビゲーションのための新しい標準を確立する。
論文 参考訳（メタデータ） (2025-08-23T11:02:59Z) - MMInA: Benchmarking Multihop Multimodal Internet Agents [36.173995299002]
本稿では,マルチホップとマルチモーダルのベンチマークであるMMInAについて述べる。
私たちのデータには、ショッピングや旅行など、さまざまな分野をカバーする1050の人書きタスクが含まれています。
マルチホップタスクの完了におけるエージェントの進捗を評価するための新しいプロトコルを提案する。
論文 参考訳（メタデータ） (2024-04-15T17:59:50Z) - WebLINX: Real-World Website Navigation with Multi-Turn Dialogue [23.71601972991744]
WEBLINXは,対話型Webナビゲーションの2300人の専門家による実演における100Kインタラクションのベンチマークである。
私たちのベンチマークでは、150以上の現実世界のWebサイト上の幅広いパターンをカバーし、さまざまなシナリオにおけるエージェントのトレーニングと評価に使用しています。
選択した要素とスクリーンショットとアクション履歴を使用して、Webをナビゲートする際の人間の振る舞いを再現するさまざまなモデルを評価します。
論文 参考訳（メタデータ） (2024-02-08T18:58:02Z) - WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models [65.18602126334716]
既存のWebエージェントは1つの入力モダリティしか処理せず、単純化されたWebシミュレータや静的なWebスナップショットでのみ評価される。
我々は,WebVoyagerを紹介した。LMM(Large Multimodal Model)を利用したWebエージェントで,現実世界のWebサイトと対話することで,エンド・ツー・エンドでのユーザ指示を完了することができる。
GPT-4(All Tools)とWebVoyager(text-only)の両方のパフォーマンスを大幅に上回る、59.1%のタスク成功率を実現していることを示す。
論文 参考訳（メタデータ） (2024-01-25T03:33:18Z) - A Real-World WebAgent with Planning, Long Context Understanding, and
Program Synthesis [69.15016747150868]
本稿では,WebAgentについて紹介する。WebAgentは自己経験から学習し,実際のWebサイト上でタスクを完了させるエージェントである。
WebAgentは、指示を標準のサブ命令に分解し、長いHTMLドキュメントをタスク関連スニペットに要約し、ウェブサイトで作用する計画である。
我々は、我々のモジュラーレシピが実際のWebサイトの成功を50%以上改善し、HTML-T5が様々なHTML理解タスクを解決する最良のモデルであることを実証的に実証した。
論文 参考訳（メタデータ） (2023-07-24T14:56:30Z) - Multimodal Web Navigation with Instruction-Finetuned Foundation Models [99.14209521903854]
視覚言語基礎モデルを用いたWebエージェントのためのデータ駆動オフライントレーニングについて検討する。
本稿では,WebページのスクリーンショットとHTMLページの両方を観察する命令追従型マルチモーダルエージェントWebGUMを提案する。
このレシピは,マルチモーダル認識,HTML理解,マルチステップ推論といったエージェントの能力を向上させることを実証的に実証する。
論文 参考訳（メタデータ） (2023-05-19T17:44:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。