論文の概要: InterWebCoder: Learning Interactive Webpage Generation from Executable Tests via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.28610v1
• Date: Tue, 20 Oct 2026 17:53:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.959477
• Title: InterWebCoder: Learning Interactive Webpage Generation from Executable Tests via Reinforcement Learning
• Title（参考訳）: InterWebCoder: 強化学習による実行可能なテストから対話型Webページ生成を学習する
• Abstract要約: InterWebCoderはインタラクティブなWebページコード生成のための効率的なフレームワークである。 2,058のタスクから1,736の検証サンプルを生成し、84.35%の合成成功率を達成した。 報酬計算のレイテンシを97%以上削減し、外部MLLM検証コストを削減し、エンドツーエンドのトレーニングを最大1.4倍高速化する。
• 参考スコア（独自算出の注目度）: 45.8972582899101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive webpages underpin modern applications, but reproducing both their visual appearance and multi-step behavior remains challenging for multimodal large language models (MLLMs). Scalable training data must capture user actions, state transitions, and expected outcomes, while real-world webpage code is often entangled with irrelevant scripts and external dependencies. Moreover, existing GUI-agent-based verification provides slow and potentially unstable functional feedback. To address these challenges, we propose InterWebCoder, an efficient framework for interactive webpage code generation. InterWebCoder introduces a Test-Specification-Guided and Execution-Verified Data Synthesis pipeline that records real-world interaction trajectories and synthesizes self-contained webpage code with executable test scripts. A failureattributed repair mechanism uses runtime evidence to locate and iteratively fix errors in either the webpage code or test script. We then combine test-ID-weighted supervised fine-tuning with group-relative policy optimization, directly optimizing functional correctness and visual fidelity using test pass rates and state-level visual similarity. This replaces costly GUI-agent verification with fast, reproducible executable feedback. Our pipeline produces 1,736 verified samples from 2,058 tasks, achieving an 84.35% synthesis success rate. On IWR-Bench and Vision2Web, InterWebCoder achieves final scores of 48.54 and 48.42 with a 9B backbone, outperforming 30B-level models and Gemini-3.7-Flash while remaining competitive with Claude-Sonnet-5. It reduces reward-computation latency by over 97%, eliminates external MLLM verification costs, and accelerates end-to-end training by up to 1.4x.
• Abstract（参考訳）: インタラクティブなWebページは現代のアプリケーションを支えるものだが、視覚的な外観と多段階の振る舞いの両方を再現することは、MLLM(Multimodal large language model)にとって依然として困難である。 スケーラブルなトレーニングデータは、ユーザのアクション、状態遷移、期待される結果をキャプチャしなければなりません。 さらに、既存のGUIエージェントベースの検証は、遅くて不安定な機能フィードバックを提供する。 これらの課題に対処するため、インタラクティブなWebページコード生成のための効率的なフレームワークであるInterWebCoderを提案する。 InterWebCoderはTest-Specification-Guided and Execution-Verified Data Synthesisパイプラインを導入し、実際のインタラクションの軌跡を記録し、実行可能なテストスクリプトで自己完結型のWebページコードを合成する。 障害に対処する修復メカニズムは、実行時エビデンスを使用して、Webページコードまたはテストスクリプトのエラーを特定し、反復的に修正する。 次に,テストパス率と状態レベルの視覚的類似度を用いて,テストID重み付き微調整とグループ相対的ポリシー最適化を併用し,機能的正当性と視覚的忠実度を直接最適化する。 これにより、コストのかかるGUIエージェント検証を、高速で再現可能な実行可能なフィードバックに置き換える。 パイプラインは2,058タスクから1,736個の検証済みサンプルを生成し,84.35%の合成成功率を達成した。 IWR-BenchとVision2Webでは、InterWebCoderは最終スコア48.54と48.42を9Bのバックボーンで達成し、30BレベルのモデルとGemini-3.7-Flashを上回った。 報酬計算のレイテンシを97%以上削減し、外部MLLM検証コストを削減し、エンドツーエンドのトレーニングを最大1.4倍高速化する。

関連論文リスト

• Interaction-as-a-Judge [84.01557166157401]
  コンピュータ利用エージェント(CUA)がアプリケーションと直接対話する評価パラダイムであるInteraction-as-a-Judgeについて検討する。 標準的な非対話的アプローチとは対照的に、インタラクション・アズ・ア・ジャッジは人間の嗜好を予測することで評価を改善する。 優先順位調整と要件検証の両面から、高品質なインタラクションによってパフォーマンスが向上する、というスケーリングのメリットも観察しています。
  論文  参考訳（メタデータ） (2026-10-13T07:49:50Z)
• WebUIProof: Benchmarking WebUI Code Generators with UI-Agent Execution Harness [36.90262479036216]
  我々は、WebUI生成のための構造化仕様と高密度で実行可能なインタラクションテストを提供する、実行指向のベンチマークであるWebUIProofを紹介します。 WebUIProofには、ヘッドレスブラウザで実行可能なインタラクションテストを実行するUIエージェントハーネスが含まれている。 我々は,8つの商用LCMを評価し,ページのレンダリングに成功しても,インタラクションベースの要求に対して頻繁な障害を観測する。
  論文  参考訳（メタデータ） (2026-10-02T00:17:11Z)
• Rendering-in-the-Loop: An Execution-Driven Agent for Interactive Web Development [11.314424904357212]
  本稿では,ブラウザのレンダリングをループに配置し,実行時のインタラクションフィードバックから生成されたコードを反復的に編集する,実行駆動エージェントRILAを提案する。 IWR-Benchでは、RILAはファンデーションモデル間の相互作用と視覚的忠実度を一貫して改善する。
  論文  参考訳（メタデータ） (2026-09-02T04:27:45Z)
• WebCQ: Cooperative Multi-Agent Deep Reinforcement Learning for Scalable Web GUI Testing [8.683082611781144]
  マルチエージェント強化学習(MARL)ベースの技術はGUIテストに有望である。 既存のMARLベースのアプローチは、基盤となる強化学習アルゴリズムに固有の制限があるため、スケールアップに苦慮している。 我々は、スケーラブルなWeb GUIテストのための新しいMARLベースのアプローチであるWebCQを提案する。
  論文  参考訳（メタデータ） (2026-06-21T13:50:43Z)
• GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
  我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。 eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。 i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
  論文  参考訳（メタデータ） (2026-05-28T01:05:50Z)
• IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video? [56.33950760097989]
  IWR-Benchは、ビデオからインタラクティブなWebページ再構築におけるLVLM(Large Vision-Language Models)の機能を評価するための新しいベンチマークである。 IWR-Benchは100の現実世界のウェブサイトから1,001のアクションで1,3の精巧にキュレートされたタスクで構成されている。 このベンチマークは、ビデオとアセットからインタラクションロジックを推論する包括的なマルチモーダル推論と、このロジックを関数コードに変換するための高度なコード生成という、2つの基本的な課題に関するモデルを評価する。
  論文  参考訳（メタデータ） (2025-09-29T12:38:06Z)
• Interaction2Code: Benchmarking MLLM-based Interactive Webpage Code Generation from Interactive Prototyping [57.024913536420264]
  MLLM(Multimodal Large Language Models)は、設計からコードへのタスクにおいて顕著な性能を示す。 本稿では,インタラクティブなWebページを生成する上で,MLLMを初めて体系的に研究する。
  論文  参考訳（メタデータ） (2024-11-05T17:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。