論文の概要: Catalyzing Interactive HTML Generation Capabilities via High-Fidelity Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.05151v1
- Date: Tue, 03 Nov 2026 16:27:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 14:01:36.912187
- Title: Catalyzing Interactive HTML Generation Capabilities via High-Fidelity Reinforcement Learning
- Title（参考訳）: 高忠実度強化学習による対話型HTML生成機能の解析
- Abstract要約: WebCatalystは3つの相補的なコンポーネントを持つブラウザ間相互作用強化学習フレームワークである。
WebCatalystは1K未満のリクエストでトレーニングされている。
Visual Anchorは美的劣化を防ぎ、実行時にグラウンドされたクレジット代入は機能改善を加速する。
- 参考スコア（独自算出の注目度）: 104.2952416355402
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating HTML from natural-language specifications is an important application of code large language models (LLMs). Despite producing renderable pages, current models often fail to ensure functionality and visual quality during actual interaction. Existing methods typically target task-specific webpage supervision, leaving demanding interactive artifact optimization underexplored. Using mini-games as a challenging testbed, we expose limitations in interaction experience, reward signal, and credit assignment fidelity that are obscured by shallow webpage interactions. We introduce WebCatalyst, a browser-interaction reinforcement learning framework with three complementary components: a game-level GUI assessor for sustained interaction and evaluation, Visual Anchor for mitigating VLM reward hacking, and Action-Trace Credit for grounding token-level credit assignment in runtime execution traces. Trained on fewer than 1K requests, predominantly for games, WebCatalyst raises the Cookie-Bench Mini Games score from 68.8 to 75.3 and also the WebGen-Bench accuracy from 48.8 to 56.9 on Qwen3.6-35B-A3B, outperforming Claude Opus 4.7 in average rank across evaluated metrics. Further analysis shows that Visual Anchor prevents aesthetic degradation, while runtime-grounded credit assignment accelerates functional improvement. Together, our results show that improving feedback fidelity is the key to substantially advancing interactive HTML generation.
- Abstract（参考訳）: 自然言語仕様からHTMLを生成することは、コード大言語モデル(LLM)の重要な応用である。
レンダリング可能なページを生成するにもかかわらず、現在のモデルは実際のインタラクションの間、機能と視覚的品質を保証するのに失敗することが多い。
既存のメソッドは通常、タスク固有のWebページの監視をターゲットとしており、対話的なアーティファクトの最適化を過小評価している。
ミニゲームを挑戦的なテストベッドとして使うと、浅いWebページのインタラクションによって隠蔽されるインタラクション体験、報酬信号、クレジット代入の忠実さの制限が明らかになる。
WebCatalystは3つの相補的なコンポーネントを持つブラウザ間インタラクション強化学習フレームワークで、持続的インタラクションと評価のためのゲームレベルのGUIアセスメント、VLM報酬ハッキングの軽減のためのVisual Anchor、実行時トレースにおけるトークンレベルのクレジット割り当ての基盤となるAction-Trace Creditを紹介する。
1K未満の要求でトレーニングされ、主にゲーム向けに、WebCatalystはCookie-Bench Mini Gamesスコアを68.8から75.3に引き上げ、Qwen3.6-35B-A3BではWebGen-Bench精度を48.8から56.9に引き上げ、クロードオプス4.7を上回っている。
さらに分析したところ、Visual Anchorは美的劣化を防ぎ、実行時の信用代入は機能改善を加速することが示された。
この結果から,フィードバックの忠実度向上が,インタラクティブなHTML生成を著しく進める鍵であることを示唆した。
関連論文リスト
- InterWebCoder: Learning Interactive Webpage Generation from Executable Tests via Reinforcement Learning [45.8972582899101]
InterWebCoderはインタラクティブなWebページコード生成のための効率的なフレームワークである。
2,058のタスクから1,736の検証サンプルを生成し、84.35%の合成成功率を達成した。
報酬計算のレイテンシを97%以上削減し、外部MLLM検証コストを削減し、エンドツーエンドのトレーニングを最大1.4倍高速化する。
論文 参考訳（メタデータ） (2026-10-20T17:53:24Z) - WebCraftBench: Evaluating Web Application Generation from a Software Testing Perspective [30.852692231575602]
ソフトウェアテストの観点からWebアプリケーション生成を評価するインタラクティブなベンチマークであるWebCraftBenchを提案する。
WebCraftBenchは、生成された各アプリケーションを計測し、コードカバレッジを使用して、ユーザシミュレートされたインタラクションを通じて、その機能を探索するエージェントをガイドする。
その後、インタラクショントレースを状態遷移グラフに抽象化し、視覚美学、ユーザビリティ、要求整合性の3次元に沿ってアプリケーションを評価する。
論文 参考訳（メタデータ） (2026-09-14T11:14:39Z) - Rendering-in-the-Loop: An Execution-Driven Agent for Interactive Web Development [11.314424904357212]
本稿では,ブラウザのレンダリングをループに配置し,実行時のインタラクションフィードバックから生成されたコードを反復的に編集する,実行駆動エージェントRILAを提案する。
IWR-Benchでは、RILAはファンデーションモデル間の相互作用と視覚的忠実度を一貫して改善する。
論文 参考訳（メタデータ） (2026-09-02T04:27:45Z) - Benchmarking Multimodal LLMs on Code Generation for Complex Interactive Webpages [22.804937497354754]
複雑なインタラクションを伴う対話型Webページのコード生成を評価する最初のベンチマークであるWebIGBenchを紹介する。
手動で設計したインタラクションパスとUI自動化を組み合わせることで、現実世界のWebサイトから103の複雑なWebページを収集しました。
このベンチマークは、851の異なるインタラクティブアクションを含む5つの一般的なインタラクティブアクションタイプ(例えば、クリック、入力)をカバーする。
論文 参考訳（メタデータ） (2026-05-29T05:45:50Z) - GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。
eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。
i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
論文 参考訳（メタデータ） (2026-05-28T01:05:50Z) - IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video? [56.33950760097989]
IWR-Benchは、ビデオからインタラクティブなWebページ再構築におけるLVLM(Large Vision-Language Models)の機能を評価するための新しいベンチマークである。
IWR-Benchは100の現実世界のウェブサイトから1,001のアクションで1,3の精巧にキュレートされたタスクで構成されている。
このベンチマークは、ビデオとアセットからインタラクションロジックを推論する包括的なマルチモーダル推論と、このロジックを関数コードに変換するための高度なコード生成という、2つの基本的な課題に関するモデルを評価する。
論文 参考訳（メタデータ） (2025-09-29T12:38:06Z) - WebGen-Agent: Enhancing Interactive Website Generation with Multi-Level Feedback and Step-Level Reinforcement Learning [51.14454312533818]
WebGen-Agentは、包括的で多層的な視覚フィードバックを活用する新しいWebサイト生成エージェントである。
WebGen-Agent の推論エンジンとして機能する LLM の能力を向上させるために,Screenshot と GUI-Adnt Feedback を備えた textitStep-GRPO を導入している。
WebGen-Agent は Claude-3.5-Sonnet の精度を 26.4% から 51.9% に引き上げ、外観スコアを 3.0 から 3.9 に引き上げた。
論文 参考訳（メタデータ） (2025-09-26T17:59:51Z) - WebGames: Challenging General-Purpose Web-Browsing AI Agents [11.320069795732058]
WebGamesは汎用的なWebブラウザAIエージェントを評価するために設計された包括的なベンチマークスイートである。
GPT-4o, Claude Computer-Use, Gemini-1.5-Pro, Qwen2-VLなどの視覚言語モデルを人為的性能に対して評価した。
その結果、最高のAIシステムは、人間のパフォーマンスが95.7%であるのに対して、43.1%の成功率しか達成していない。
論文 参考訳（メタデータ） (2025-02-25T16:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。