論文の概要: State-Aware Generation of Deployable Websites from Visual Prototypes and Requirements

• arxiv url: http://arxiv.org/abs/2610.17861v1
• Date: Tue, 13 Oct 2026 07:23:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 08:30:12.909723
• Title: State-Aware Generation of Deployable Websites from Visual Prototypes and Requirements
• Title（参考訳）: ビジュアルプロトタイプと要件からデプロイ可能なWebサイトの状態認識生成
• Abstract要約: プロトタイプをProject State GraphでメンテナンスするフレームワークであるVisStateCoderを提案する。 このグラフは、型付きリンクを通じて4種類の状態ノードを接続し、プロトタイプのグラウンドディング、グラフ誘導生成、レンダリングエビデンス誘導スコープ更新をサポートする。 VisStateCoderをVision2Web上で静的Webページ、インタラクティブフロントエンド、フルスタックWebサイトタスクの5つの基盤モデルを用いて評価する。
• 参考スコア（独自算出の注目度）: 13.209535526562293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating deployable websites from visual prototypes and textual requirements is increasingly feasible with multimodal models, yet keeping generated projects consistent with their prototypes remains challenging. Prototypes specify layouts and visual elements, while requirements describe interaction workflows and deployment constraints. Existing UI-to-code methods and coding agents often treat layout reconstruction, interaction implementation, and project editing separately, allowing visual elements, files, workflows, dependencies, and render evidence to lose their correspondence across generation, verification, and update. We call this problem prototype-to-project state drift. We propose VisStateCoder, a state-aware framework that maintains these correspondences in a Project State Graph. The graph connects four types of state nodes through typed links and supports prototype grounding, graph-guided generation, and render-evidence-guided scoped updates that map failed checks to affected files while preserving files outside the update scope. We evaluate VisStateCoder on Vision2Web using five foundation models across Static Webpage, Interactive Frontend, and Full-Stack Website tasks. Averaged across models, VisStateCoder improves overall scores over the strongest baseline for each model by 26.1 and 22.6 points on Interactive Frontend and Full-Stack Website tasks, respectively. It also reduces verified-state drift, measured by checks that pass in one update round but fail later, compared with alternative state representations. An annotation study of 50 tasks finds that the constructed graphs achieve 95.6% edge-level F1.
• Abstract（参考訳）: ビジュアルプロトタイプとテキスト要求からデプロイ可能なWebサイトを生成することは、マルチモーダルモデルではますます実現可能になっていますが、生成したプロジェクトはプロトタイプと整合性を維持することは難しいままです。 プロトタイプではレイアウトとビジュアル要素が指定され、要求ではインタラクションワークフローとデプロイメントの制約が記述される。 既存のUI-to-codeメソッドとコーディングエージェントは、レイアウトの再構築、インタラクションの実装、プロジェクト編集を別々に扱うことが多く、視覚要素、ファイル、ワークフロー、依存関係、エビデンスをレンダリングすることで、生成、検証、更新で対応が失われる。 我々はこの問題をプロトタイプ・ツー・プロジェクト状態ドリフトと呼んでいる。 プロジェクトステートグラフでこれらの対応を維持する状態認識フレームワークであるVisStateCoderを提案する。 このグラフは、タイプ付きリンクを通じて4種類の状態ノードを接続し、プロトタイプのグラウンドディング、グラフ誘導生成、レンダリングエビデンス誘導スコープ更新をサポートし、更新スコープの外でファイルを保存しながら、影響を受けるファイルのチェックをマップする。 VisStateCoderをVision2Web上で静的Webページ、インタラクティブフロントエンド、フルスタックWebサイトタスクの5つの基盤モデルを用いて評価する。 モデル全体で平均されるVisStateCoderは、各モデルの最強ベースラインに対して、Interactive FrontendとFull-Stack Webサイトタスクでそれぞれ26.1ポイント、22.6ポイントのスコアを改善する。 また、1回の更新ラウンドでパスするチェックによって測定される検証状態のドリフトを、代替状態表現と比較して遅くする。 50のタスクに関する注釈研究は、構築されたグラフが95.6%のエッジレベルF1を達成することを発見した。

関連論文リスト

• IChart2Code: Benchmarking Multimodal Large Language Models for Interactive Chart Code Generation [11.917166961984114]
  インタラクティブなチャートコード生成には、参照チャートの外観と基盤となるデータを再現するモデルが必要である。 既存のチャート・トゥ・コードベンチマークでは静的なアウトプットに重点を置いており、インタラクション仕様やブラウザの実行、インタラクション後の検証のためのタスク表現や評価プロトコルが欠如している。 IChart2Codeは、20のチャート形式と13のデータファミリーにわたる377のタスクからなるベンチマークであり、6つのファミリーで1209のインタラクション要求がある。
  論文  参考訳（メタデータ） (2026-09-26T09:40:57Z)
• FRAGMENT: Factorized Graph Representations for Document Generation and Editing via Entity-Aware Transformations [0.0]
  ピクセルやトークンレベルで動作している生成モデルは、しばしば空間レイアウト、テキストコンテンツ、論理構造依存を効果的に捉えるのに苦労する。 我々は、文書を型付き関係グラフとして表現し、その分布を p(structure, content) = p(structure) * p(content | structure) として分解する生成フレームワーク FRAGMENT を探索する。 DocLayNet、FUNSD、SROIEの実験では、FRAGMENTを代表的自己回帰、レイアウトのみ、グラフベースのベースラインとともに評価している。
  論文  参考訳（メタデータ） (2026-08-19T08:29:19Z)
• MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents [50.27505102982638]
  本稿では,ツールコールエージェントのベンチマークおよび評価フレームワークであるMM-ToolSandBoxを紹介する。 このフレームワークは16のアプリケーションドメインで500以上のツールにまたがるステートフルな実行環境を提供する。 マルチイメージのマルチターンタスクをサポートしており、エージェントは実行可能ツールコールに徐々に視覚的な入力を入力しなければならない。
  論文  参考訳（メタデータ） (2026-07-13T17:13:09Z)
• UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation [35.72992007209751]
  インタラクション推論をターゲットとする最初のベンチマーク、スクリーンショットのみからアプリケーションの振る舞いを復元する機能を紹介します。 UI2Appは、実行可能なマルチルートWebアプリケーションのための45のステートコヒーレントスクリーンショットセットにグループ化された327のスクリーンショットで構成されている。 実行可能性、ナビゲーション到達性、視覚的忠実性、相互作用推論の4つの次元に沿って、各アーティファクトを評価するエンドツーエンドパイプラインを設計する。
  論文  参考訳（メタデータ） (2026-07-07T14:08:55Z)
• Multimodal OCR: Parse Anything from Documents [72.69545534962234]
  dots.mocrは、チャート、ダイアグラム、テーブル、アイコンなどのビジュアル要素を第一級解析ターゲットとして扱う。 テキストとグラフィックの両方を構造化出力として再構築し、より忠実なドキュメント再構築を可能にする。 不均一なドキュメント要素に対するエンドツーエンドのトレーニングをサポートする。
  論文  参考訳（メタデータ） (2026-03-13T14:42:21Z)
• GraphPad: Inference-Time 3D Scene Graph Updates for Embodied Question Answering [63.17411943434755]
  GraphPadは変更可能な構造化メモリで、エージェントはAPI呼び出しを通じてタスクのニーズに合わせて調整できる。 環境を表す可変なシーングラフと、フレームごとにインデックスするナビゲーションログと、タスク固有のノート用のスクラッチパッドとを備える。
  論文  参考訳（メタデータ） (2025-06-01T21:13:38Z)
• RefChartQA: Grounding Visual Answer on Chart Images through Instruction Tuning [63.599057862999]
  RefChartQAは、Chart Question Answering(ChartQA)とビジュアルグラウンドを統合した、新しいベンチマークである。 実験により,グラウンド化による空間認識を取り入れることで,応答精度が15%以上向上することが実証された。
  論文  参考訳（メタデータ） (2025-03-29T15:50:08Z)
• OmniParser V2: Structured-Points-of-Thought for Unified Visual Text Parsing and Its Generality to Multimodal Large Language Models [58.45517851437422]
  VsTP(Visually-situated text parsing)は、自動化された文書理解の需要が高まり、最近顕著な進歩を遂げている。 既存のソリューションは、タスク固有のアーキテクチャと個々のタスクの目的に依存していることが多い。 本稿では,テキストスポッティング,キー情報抽出,テーブル認識,レイアウト解析など,VsTPの典型的なタスクを統一する汎用モデルであるOmni V2を紹介する。
  論文  参考訳（メタデータ） (2025-02-22T09:32:01Z)
• GVdoc: Graph-based Visual Document Classification [17.350393956461783]
  グラフに基づく文書分類モデルであるGVdocを提案する。 提案手法では,そのレイアウトに基づいて文書グラフを生成し,グラフニューラルネットワークを用いてノードとグラフの埋め込みを学習する。 パラメータが少なくても、我々のモデルは分布外データ上で最先端のモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-26T19:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。