論文の概要: WebViSE: Scaling Visual Design Intelligence from the Open Web for LLM Website Generation

• arxiv url: http://arxiv.org/abs/2610.33929v1
• Date: Sat, 24 Oct 2026 21:43:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.485656
• Title: WebViSE: Scaling Visual Design Intelligence from the Open Web for LLM Website Generation
• Title（参考訳）: WebViSE: LLM Webサイト生成のためのオープンWebからのビジュアルデザインインテリジェンスの拡張
• Abstract要約: 非熟練のユーザは、自然言語で洗練されたビジュアルデザインとインタラクションデザインを明確にするために苦労することが多い。 WebViSEは,実装を自動的に再利用可能なVisual Skillに抽象化するフレームワークである。 WebViSEは、ビジュアルデザインインテリジェンスをモデルウェイトに内部化するデータ合成パイプラインを構築するために使用することができる。
• 参考スコア（独自算出の注目度）: 15.160313579332575
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models have made remarkable strides in website development, enabling complete and interactive web experiences to be built from natural-language instructions with far less effort. Yet, non-expert users often struggle to articulate sophisticated visual and interaction designs in natural language. Meanwhile, the open web already contains a vast reservoir of such design knowledge, embodied in mature website implementations. To this end, we introduce Website-derived Visual Skill Extraction (WebViSE), a framework that automatically abstracts these implementations into reusable Visual Skills and builds a structured Skill library. To scale the library, WebViSE organizes its Skills in a multi-parent DAG and jointly evolves Skill descriptions and DAG structure using Skill-conditioned Potential Queries, enabling efficient matching between diverse user instructions and relevant Skills. The auto-evolved structure outperforms non-hierarchical LLM retrieval baselines at only 39.09% of the estimated retrieval cost with Qwen3.8-Max. For any models, WebViSE can be directly injected as plug-and-play guidance, enabling diverse models to produce more visually compelling and aesthetically refined web pages. For open-source models, WebViSE can be used to build a data-synthesis pipeline that internalizes visual design intelligence into model weights. Experiments across multiple web development benchmarks and human evaluation consistently show that WebViSE improves the visual quality and interaction fidelity of artifacts. Overall, our work establishes an automated path for extracting, organizing, and transferring design intelligence from the open web to website-building models. We release all extracted Visual Skills, the associated Skill DAG, and our code at https://github.com/YifeiSun-0710/WebViSE.
• Abstract（参考訳）: 大規模な言語モデルはWebサイト開発において顕著な進歩を遂げており、完全にインタラクティブなWebエクスペリエンスを、より少ない労力で自然言語命令から構築することができる。 しかし、専門家でないユーザは、自然言語で洗練されたビジュアルデザインとインタラクションデザインを具体化するのに苦労することが多い。 一方、オープンWebには、成熟したWebサイト実装に具体化された、そのような設計知識の膨大な貯蓄が含まれている。 WebViSEは,これらの実装を自動的に再利用可能なVisual Skillに抽象化し,構造化されたSkillライブラリを構築するフレームワークである。 ライブラリをスケールするために、WebViSEはマルチペアDAGでスキルを編成し、Skill-conditioned potential Queriesを使用してスキル記述とDAG構造を共同で進化させ、多様なユーザ命令と関連するスキルの効率的なマッチングを可能にする。 自動進化構造は、Qwen3.8-Maxで推定された検索コストの39.09%で非階層的なLLM検索ベースラインを上回っている。 あらゆるモデルに対して、WebViSEはプラグイン・アンド・プレイのガイダンスとして直接注入することができ、多様なモデルにより視覚的に魅力的で美的なWebページを作成できる。 オープンソースのモデルでは、WebViSEを使用して、ビジュアルデザインインテリジェンスをモデルウェイトに内部化するデータ合成パイプラインを構築することができる。 複数のWeb開発ベンチマークと人的評価の実験は、WebViSEがアーティファクトの視覚的品質と相互作用の忠実性を改善することを一貫して示している。 全体として、オープンウェブからウェブサイト構築モデルにデザインインテリジェンスを抽出、整理、転送するための自動パスを確立しています。 抽出されたVisual Skills、関連するSkill DAG、およびコードはすべてhttps://github.com/YifeiSun-0710/WebViSEでリリースしています。

関連論文リスト

• RefCraft: Benchmarking Visual-Reference-Conditioned Agentic Generation through Web Development [63.297263622077615]
  RefCraftは300のリアルなマルチモーダルWebページ開発タスクからなるベンチマークである。 自然言語命令と1から5つの参照Webページのスクリーンショットを組み合わせる。 我々は、独立に検証可能なキーポイントと相補的なプログラムおよびVLM判定器を用いて、結果のオープンエンドアーティファクトを評価する。
  論文  参考訳（メタデータ） (2026-10-19T17:55:06Z)
• LiveWeb-IE: A Benchmark For Online Web Information Extraction [48.82654261583883]
  Web情報抽出(WIE)は、Webページから自動的にデータを抽出するタスクであり、様々なアプリケーションに高いユーティリティを提供する。 ライブWebサイトに対して,WIEシステムを直接評価するための新しいベンチマークである,データセットを導入する。 また,Webページコンテンツを視覚的に絞り込み,所望の情報を抽出することで,人間の認知過程を模倣する新しい多段階エージェントフレームワークであるVisual Grounding Scraper (VGS)を提案する。
  論文  参考訳（メタデータ） (2026-03-14T05:55:11Z)
• DAVE: A VLM Vision Encoder for Document Understanding and Web Agents [50.05119785399764]
  視覚言語モデル(VLM)のための視覚エンコーダDAVEを紹介する。 私たちのトレーニングパイプラインは、ドキュメントやWebイメージの大規模なアノテーションの必要性を回避するために、豊富なラベルのないデータを活用するように設計されています。 我々は、アンサンブルトレーニングを使用して、事前訓練されたジェネリストエンコーダの機能を、独自のドキュメントとWeb固有の表現で融合する。
  論文  参考訳（メタデータ） (2025-12-19T04:09:24Z)
• EDGE: Enhanced Grounded GUI Understanding with Enriched Multi-Granularity Synthetic Data [15.801018643716437]
  本稿では,大規模視覚言語モデル(LVLM)のGUI理解と対話能力を,データ駆動型アプローチにより向上することを目的とする。 本稿では,Web上のWebページから大規模で粒度の高いトレーニングデータを自動的に生成する汎用データ合成フレームワークEDGEを提案する。 提案手法は,手動アノテーションへの依存を著しく低減し,研究者がWeb上で利用可能な膨大な公開リソースを活用して作業を進めることを可能にする。
  論文  参考訳（メタデータ） (2024-10-25T10:46:17Z)
• Harnessing Webpage UIs for Text-Rich Visual Understanding [112.01029887404296]
  テキストベース大規模言語モデル(LLM)を用いたWebページUIからの汎用マルチモーダル命令の合成を提案する。 これらの命令はUIスクリーンショットと組み合わせて、マルチモーダルモデルのトレーニングを行う。 我々は、100万のWebサイトから730万のサンプルを含むデータセットであるMultiUIを紹介し、多様なマルチモーダルタスクとUIレイアウトをカバーした。
  論文  参考訳（メタデータ） (2024-10-17T17:48:54Z)
• ARPA: A Novel Hybrid Model for Advancing Visual Word Disambiguation Using Large Language Models and Transformers [1.6541870997607049]
  変換器の高度な特徴抽出機能を備えた大規模言語モデルの非並列的文脈理解を融合したアーキテクチャであるARPAを提案する。 ARPAの導入は、視覚的単語の曖昧さにおいて重要なマイルストーンであり、魅力的なソリューションを提供する。 我々は研究者や実践者たちに、このようなハイブリッドモデルが人工知能の先例のない進歩を後押しする未来を想像して、我々のモデルの能力を探求するよう依頼する。
  論文  参考訳（メタデータ） (2024-08-12T10:15:13Z)
• WebRPG: Automatic Web Rendering Parameters Generation for Visual Presentation [24.99791278208309]
  ウェブレンダリングパラメータ生成(WebRPG, Web Rendering Parameters Generation)はHTMLコードに基づくWebページの視覚的表示の自動生成を目的とした新しいタスクである。 VAEを利用して多数の要素やレンダリングパラメータを管理するベースラインモデルと、HTMLから本質的なセマンティックおよび階層的な情報をキャプチャするためのカスタムHTML埋め込みを提示する。
  論文  参考訳（メタデータ） (2024-07-22T09:35:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。