論文の概要: Rendering-in-the-Loop: An Execution-Driven Agent for Interactive Web Development
- arxiv url: http://arxiv.org/abs/2609.02088v1
- Date: Wed, 02 Sep 2026 04:27:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.058981
- Title: Rendering-in-the-Loop: An Execution-Driven Agent for Interactive Web Development
- Title（参考訳）: Rendering-in-the-Loop:対話型Web開発のための実行駆動エージェント
- Abstract要約: 本稿では,ブラウザのレンダリングをループに配置し,実行時のインタラクションフィードバックから生成されたコードを反復的に編集する,実行駆動エージェントRILAを提案する。
IWR-Benchでは、RILAはファンデーションモデル間の相互作用と視覚的忠実度を一貫して改善する。
- 参考スコア（独自算出の注目度）: 11.314424904357212
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models have achieved remarkable progress in front-end web development, generating interactive webpages from multimodal references such as screenshots and interaction videos. However, existing work largely emphasizes visual metrics such as aesthetics and layout similarity, while overlooking the more critical validation of interactive functionality. We present RILA, an execution-driven agent that puts browser rendering in the loop, iteratively editing generated code from runtime interaction feedback. RILA introduces an Action Interaction Verification (AIV) module that replays the reference interaction trajectory on the generated webpage to collect grounded execution-aware observations, and an Execution-aware Rendering Score (ERS) that jointly measures interaction correctness and visual fidelity to guide iterative optimization. We further build an execution-verified data synthesis pipeline that produces diverse, high-quality training data, offering gains complementary to inference-time optimization. On IWR-Bench, RILA consistently improves both interaction and visual fidelity across foundation models. Notably, with our training pipeline, RILA lifts the compact Qwen3.5-9B backbone from 40.40% to 57.52%, surpassing far larger one-shot generators, including the 1T-parameter Kimi-K2.6 (55.61%) and the proprietary GPT-5.5 (55.74%).
- Abstract（参考訳）: マルチモーダルな大規模言語モデルは、スクリーンショットや対話ビデオなどのマルチモーダル参照からインタラクティブなWebページを生成する、フロントエンドのWeb開発において顕著な進歩を遂げている。
しかし、既存の研究は、インタラクティブ機能のより批判的な検証を見越しながら、美学やレイアウトの類似性といった視覚的指標を主に重視している。
本稿では,ブラウザのレンダリングをループに配置し,実行時のインタラクションフィードバックから生成されたコードを反復的に編集する,実行駆動エージェントRILAを提案する。
RILAは、生成されたWebページ上で参照インタラクションの軌跡をリプレイして、基礎となる実行認識観測を収集するAction Interaction Verification (AIV)モジュールと、対話の正しさと視覚的忠実度を共同で測定して反復最適化を導くExecution-Aware Rendering Score (ERS)を導入している。
さらに、多種多様な高品質なトレーニングデータを生成し、推論時間最適化を補完するゲインを提供する、実行検証データ合成パイプラインを構築します。
IWR-Benchでは、RILAはファンデーションモデル間の相互作用と視覚的忠実度を一貫して改善する。
トレーニングパイプラインでは、RILAは小型のQwen3.5-9Bバックボーンを40.40%から57.52%に引き上げ、1TパラメーターのKim-K2.6(55.61%)やプロプライエタリのGPT-5.5(55.74%)など、はるかに大きな単発発電機を上回りました。
関連論文リスト
- UNIBROWSE: A Data-to-Agent Framework for Multimodal BrowseComp [14.339105360523831]
実世界のマルチモーダルブラウジングには3つの異なる情報フローパターンがある。
UNIBROWSEは3つのパターンすべてをカバーするトレーニングデータを同時に生成する統合データパイプラインである。
UNIBROWSEエージェントは、マルチモーダルなBrowseCompベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-12T04:13:27Z) - UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation [35.72992007209751]
インタラクション推論をターゲットとする最初のベンチマーク、スクリーンショットのみからアプリケーションの振る舞いを復元する機能を紹介します。
UI2Appは、実行可能なマルチルートWebアプリケーションのための45のステートコヒーレントスクリーンショットセットにグループ化された327のスクリーンショットで構成されている。
実行可能性、ナビゲーション到達性、視覚的忠実性、相互作用推論の4つの次元に沿って、各アーティファクトを評価するエンドツーエンドパイプラインを設計する。
論文 参考訳（メタデータ） (2026-07-07T14:08:55Z) - Benchmarking Multimodal LLMs on Code Generation for Complex Interactive Webpages [22.804937497354754]
複雑なインタラクションを伴う対話型Webページのコード生成を評価する最初のベンチマークであるWebIGBenchを紹介する。
手動で設計したインタラクションパスとUI自動化を組み合わせることで、現実世界のWebサイトから103の複雑なWebページを収集しました。
このベンチマークは、851の異なるインタラクティブアクションを含む5つの一般的なインタラクティブアクションタイプ(例えば、クリック、入力)をカバーする。
論文 参考訳（メタデータ） (2026-05-29T05:45:50Z) - GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。
eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。
i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
論文 参考訳（メタデータ） (2026-05-28T01:05:50Z) - Covering Human Action Space for Computer Use: Data Synthesis and Benchmark [59.01879944842542]
コンピュータ利用エージェント(CUA)は、GPT-5.4とClaudeによって説明されているように、画面上での作業を自動化する。
しかし、複雑な低周波相互作用に対する信頼性はまだ貧弱であり、ユーザの信頼を制限している。
複雑な相互作用におけるモデルの能力を評価するための新しいベンチマークCUActSpotを提案する。
論文 参考訳（メタデータ） (2026-05-12T17:59:58Z) - 1D-Bench: A Benchmark for Iterative UI Code Generation with Visual Feedback in Real-World [5.904589000032003]
実電子商取引を基盤としたベンチマークである1D-Benchを導入し、各インスタンスが参照レンダリングとエクスポート中間表現を提供する。
1Dは1日で短く、設計からコーディングまでのタスクを1日以内で効率的に完了する。
論文 参考訳（メタデータ） (2026-02-20T17:46:51Z) - FronTalk: Benchmarking Front-End Development as Conversational Code Generation with Multi-Modal Feedback [92.67587639164908]
マルチモーダルフィードバックを備えたフロントエンドコード生成のベンチマークであるFronTalkを紹介する。
我々は、フロントエンド開発タスクに集中し、100のマルチターン対話のコレクションであるFronTalkをキュレートする。
20モデルの評価は、文献で体系的に調査されていない2つの重要な課題を明らかにしている。
論文 参考訳（メタデータ） (2025-12-05T23:28:09Z) - MiroThinker: Pushing the Performance Boundaries of Open-Source Research Agents via Model, Context, and Interactive Scaling [115.74855199827596]
MiroThinkerは、ツール拡張推論と情報検索機能を向上させるために設計されたオープンソースの研究エージェントである。
モデルサイズやコンテキスト長のみをスケールアップする以前のエージェントとは異なり、MiroThinker氏はモデルレベルでのインタラクションスケーリングについて検討している。
論文 参考訳（メタデータ） (2025-11-14T18:52:07Z) - WebGen-Agent: Enhancing Interactive Website Generation with Multi-Level Feedback and Step-Level Reinforcement Learning [51.14454312533818]
WebGen-Agentは、包括的で多層的な視覚フィードバックを活用する新しいWebサイト生成エージェントである。
WebGen-Agent の推論エンジンとして機能する LLM の能力を向上させるために,Screenshot と GUI-Adnt Feedback を備えた textitStep-GRPO を導入している。
WebGen-Agent は Claude-3.5-Sonnet の精度を 26.4% から 51.9% に引き上げ、外観スコアを 3.0 から 3.9 に引き上げた。
論文 参考訳（メタデータ） (2025-09-26T17:59:51Z) - InterFormer: Real-time Interactive Image Segmentation [80.45763765116175]
インタラクティブなイメージセグメンテーションにより、アノテータはセグメンテーションタスクのためのピクセルレベルのアノテーションを効率的に実行することができる。
既存のインタラクティブセグメンテーションパイプラインは、インタラクティブモデルの非効率な計算に悩まされている。
これらの問題に対処するための新しいパイプラインに従うInterFormerという手法を提案する。
論文 参考訳（メタデータ） (2023-04-06T08:57:00Z) - Asynchronous Interaction Aggregation for Action Detection [43.34864954534389]
本稿では,異なるインタラクションを活用して動作検出を促進する非同期インタラクション集約ネットワーク(AIA)を提案する。
ひとつはインタラクション集約構造(IA)で、複数のタイプのインタラクションをモデル化し統合するための一様パラダイムを採用し、もうひとつはパフォーマンス向上を実現するための非同期メモリ更新アルゴリズム(AMU)です。
論文 参考訳（メタデータ） (2020-04-16T07:03:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。