論文の概要: MKD2World: A Typed Spatial MarkDown World Model For Web Agents
- arxiv url: http://arxiv.org/abs/2611.06544v1
- Date: Wed, 04 Nov 2026 14:11:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.129707
- Title: MKD2World: A Typed Spatial MarkDown World Model For Web Agents
- Title（参考訳）: MKD2World:ウェブエージェントのためのタイプ付き空間的マークダウンワールドモデル
- Abstract要約: 我々は,現在状態記述と動作条件付き次世代予測の2段階で訓練されたデスクトップWebワールドモデルを構築した。
MKD2World-9Bは、ドメイン外のテストセットでEleF1スコア26.50を獲得し、GPT5.6-Sol(14.98)を11.52ポイント上回る。
- 参考スコア（独自算出の注目度）: 33.52759834262525
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Graphical user interface (GUI) agents can improve decision-making with world-model foresight, provided that predicted states accurately reflect post-action interfaces. Existing state representations fail to jointly capture interface layout, UI semantics, and explicit locations. We introduce Typed Spatial Markdown (TSM), a Markdown-style textual state representation for desktop web interfaces. TSM serializes block-level and atomic-level UI elements according to their spatial relationships, jointly encoding their types, visual semantics, explicit locations, optional control states, and hierarchical membership. To train a screenshot-to-TSM renderer, we construct AtomBlock-WebUI, a dataset with precise annotations at both granularities. By injecting element-type labels into HTML and directly extracting bounding boxes after rendering, we avoid annotation errors caused by post-hoc inference from webpage structures. Building on TSM, we propose MKD2World, a desktop web world model trained in two stages for current-state description and action-conditioned next-state prediction. During inference, the web agent queries MKD2World as needed and performs a ``digest'' step, in which it interprets each predicted state and extracts task-relevant evidence for selecting the best action. Experiments show that MKD2World-9B achieves an EleF1 score of 26.50 on the out-of-domain test set, outperforming GPT-5.6-Sol(14.98) by 11.52 points. Across Online-Mind2Web tasks, MKD2World-9B improves the success rate of the Qwen3.5-35B web agent from 22.94% to 37.61%, achieving competitive performance among leading open-source GUI world models. Code is available at https://github.com/OmniAI-Lab-CUHKSZ/MKD2World.
- Abstract（参考訳）: 図形ユーザインタフェース(GUI)エージェントは、予測状態がポストアクションインターフェースを正確に反映している場合、ワールドモデルフォレストで意思決定を改善することができる。
既存の状態表現は、インターフェースレイアウト、UIセマンティクス、明示的な位置を共同でキャプチャすることができない。
デスクトップウェブインタフェースのためのマークダウンスタイルのテキスト状態表現であるTyped Spatial Markdown (TSM)を紹介した。
TSMはブロックレベルのUI要素と原子レベルのUI要素をそれらの空間的関係に従ってシリアライズし、それらのタイプ、視覚的意味論、明示的な位置、任意の制御状態、階層的メンバシップを共同でエンコードする。
スクリーンショットからTSMまでのレンダラをトレーニングするために、両方の粒度で正確なアノテーションを持つデータセットであるAtomBlock-WebUIを構築します。
レンダリング後に要素タイプラベルをHTMLに注入し,バウンディングボックスを直接抽出することにより,Webページ構造からのポストホック推論によるアノテーションエラーを回避する。
TSM上に構築されたMKD2Worldは、現在の状態記述と動作条件付き次世代予測のための2段階の訓練を施したデスクトップウェブワールドモデルである。
推論中、Webエージェントは必要に応じてMKD2Worldをクエリし、『ダイジェスト』ステップを実行し、予測された各状態を解釈し、最高のアクションを選択するためのタスク関連エビデンスを抽出する。
実験の結果、MKD2World-9Bはドメイン外のテストセットでEleF1スコア26.50を達成し、GPT-5.6-Sol(14.98)を11.52ポイント上回った。
オンライン-Mind2Webタスク全体で、MKD2World-9Bは、Qwen3.5-35B Webエージェントの成功率を22.94%から37.61%に改善し、主要なオープンソースGUIワールドモデル間での競争性能を達成する。
コードはhttps://github.com/OmniAI-Lab-CUHKSZ/MKD2Worldで公開されている。
関連論文リスト
- InterWebCoder: Learning Interactive Webpage Generation from Executable Tests via Reinforcement Learning [45.8972582899101]
InterWebCoderはインタラクティブなWebページコード生成のための効率的なフレームワークである。
2,058のタスクから1,736の検証サンプルを生成し、84.35%の合成成功率を達成した。
報酬計算のレイテンシを97%以上削減し、外部MLLM検証コストを削減し、エンドツーエンドのトレーニングを最大1.4倍高速化する。
論文 参考訳（メタデータ） (2026-10-20T17:53:24Z) - State-Aware Generation of Deployable Websites from Visual Prototypes and Requirements [13.209535526562293]
プロトタイプをProject State GraphでメンテナンスするフレームワークであるVisStateCoderを提案する。
このグラフは、型付きリンクを通じて4種類の状態ノードを接続し、プロトタイプのグラウンドディング、グラフ誘導生成、レンダリングエビデンス誘導スコープ更新をサポートする。
VisStateCoderをVision2Web上で静的Webページ、インタラクティブフロントエンド、フルスタックWebサイトタスクの5つの基盤モデルを用いて評価する。
論文 参考訳（メタデータ） (2026-10-13T07:23:49Z) - Probe to Act: Elevating Browser-Use Agent via Active Visual Probing [73.6013940895953]
Probe to Act (P2A) はブラウザエージェントループのアクティブなプロブリングフレームワークである。
シンボリックDOM仮説とスクリーンショットレイアウトの間の非対称ブリッジに対処する。
P2Aは、標準のDOM+SoMインタフェースの下でプロプライエタリなモデルのプロンプト戦略として使用できる。
論文 参考訳（メタデータ） (2026-09-27T15:11:30Z) - IChart2Code: Benchmarking Multimodal Large Language Models for Interactive Chart Code Generation [11.917166961984114]
インタラクティブなチャートコード生成には、参照チャートの外観と基盤となるデータを再現するモデルが必要である。
既存のチャート・トゥ・コードベンチマークでは静的なアウトプットに重点を置いており、インタラクション仕様やブラウザの実行、インタラクション後の検証のためのタスク表現や評価プロトコルが欠如している。
IChart2Codeは、20のチャート形式と13のデータファミリーにわたる377のタスクからなるベンチマークであり、6つのファミリーで1209のインタラクション要求がある。
論文 参考訳（メタデータ） (2026-09-26T09:40:57Z) - Discriminative World Models for Web Agents [52.31107486410659]
最近のWebエージェントは、テストタイムアクションの選択に世界モデルを使用し、候補アクションをサンプリングし、結果のWeb状態を予測し、ランキングモデルまたはプロセスリワードモデル(PRM)でランキングする。
予測状態マッチング(英: predict-state matching)は、予測された表現が真の結果状態と、代替行動によって到達した状態とを区別しなければならない訓練目的である。
提案手法は,WebPRMBench上でのPRMスタイルのアクションランキングを改善する。
論文 参考訳（メタデータ） (2026-09-02T17:59:40Z) - MolmoWeb: Open Visual Web Agent and Open Data for the Open Web [60.29597961827816]
MolmoWebMixはブラウザのタスクとWeb-GUIの知覚データを組み合わせたものだ。
MolmoWeb-8Bは、完全にオープンなマルチモーダルWebエージェントのファミリーである。
我々は、Webエージェントのオープンな研究を可能にするため、モデルチェックポイント、トレーニングデータ、コード、統一された評価ハーネスをリリースする。
論文 参考訳（メタデータ） (2026-04-09T17:54:02Z) - EmbeWebAgent: Embedding Web Agents into Any Customized UI [3.034887612600091]
EmbeWebAgentはエージェントを直接既存のUIに埋め込むフレームワークです。
プリミティブからハイレベルコンポジットまで、混合粒度作用をサポートする。
私たちのデモでは、ライブUI設定で最小限の再適合と堅牢なマルチステップ動作を示しています。
論文 参考訳（メタデータ） (2026-02-16T15:59:56Z) - GTA1: GUI Test-time Scaling Agent [97.58177633084915]
グラフィカルユーザインタフェース(GUI)は、ユーザ命令をアクションプロポーザルに順次分解することで、プラットフォーム(例えばLinux)間で自律的にタスクを完了させる。
本稿では,前述の textbfGUI textbfTest-time Scaling textbfAgent,すなわち GTA1 の課題について検討する。
論文 参考訳（メタデータ） (2025-07-08T08:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。