論文の概要: Toward Executable Multi-framework Front-end Code Generation with Self-Correction

• arxiv url: http://arxiv.org/abs/2611.01383v1
• Date: Sun, 01 Nov 2026 00:43:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-12 23:50:29.210245
• Title: Toward Executable Multi-framework Front-end Code Generation with Self-Correction
• Title（参考訳）: 自己補正による実行可能マルチフレームワークフロントエンドコード生成に向けて
• Abstract要約: 実行可能複数フレームのフロントエンドコード生成について検討し,木構造自己補正フレームワークMESCoderを提案する。 提案手法は,まずスクリーンショットから構造的な足場を抽出し,次にサブツリーとアセンブリ関係を段階的に構築し,大規模プロジェクト生成を局所的な決定へと変換する。 実験により,HTML ベースの生成に視覚的忠実さのギャップを狭めながら,実行可能性の向上を図った。
• 参考スコア（独自算出の注目度）: 7.1910378541342865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating codes from UI screenshots has recently benefited from MLLMs, yet existing methods centered on HTML targets and transfer poorly to multi-frameworks such as React, Vue, and Angular. However, unlike HTML, which does not entail compilation issues, generating executable code in multi-framework settings is more challenging due to framework-specific differences in syntax and failure modes, as well as the need to maintain global consistency across files. To address this problem, we study executable multi-framework front-end code generation and propose MESCoder, a tree-structured self-corrective generation framework. Our method first extracts a structural scaffold from the screenshot and then constructs sub-trees and assembly relations step by step, transforming large project generation into a sequence of localized decisions. On top of this scaffold, we introduce a unified Project Agent that continuously revises its own partial project under runtime sandbox feedback and dynamically chooses between local repair and cluster level repair. For training, we adopt a two-stage strategy that first initializes the policy offline to learn basic multi-framework generation and repair priors, and then refines it with online reinforcement learning to optimize long horizon executability and final page quality. The resulting framework models multi-framework executability as a conditioned project state transition process and improves the stability and quality of complex front end generation through self correction. Experiments show that our method improves executability, while narrowing the visual-fidelity gap to HTML-based generation. Code is available at https://github.com/leo-lilinxiao/MESCoder.
• Abstract（参考訳）: UIスクリーンショットからコードを生成することは、最近MLLMの恩恵を受けているが、HTMLターゲットを中心とした既存のメソッドは、React、Vue、Angularなどのマルチフレームワークに貧弱に転送されている。 しかし、コンパイルの問題を伴わないHTMLとは異なり、マルチフレームワーク設定で実行可能なコードを生成することは、フレームワーク固有の構文と障害モードの違いと、ファイル間のグローバルな一貫性を維持する必要性により、より難しい。 この問題に対処するため,実行可能複数フレームのフロントエンドコード生成について検討し,木構造自己補正フレームワークMESCoderを提案する。 提案手法は,まずスクリーンショットから構造的な足場を抽出し,その部分木と組立関係を段階的に構築し,大規模プロジェクト生成を局所的な決定へと変換する。 この足場の上に統合されたプロジェクトエージェントを導入し、実行時のサンドボックスフィードバックの下で、自身の部分的なプロジェクトを継続的に修正し、局所的な修復とクラスタレベルの修復を動的に選択します。 トレーニングでは、まずポリシーをオフラインに初期化し、基本となるマルチフレームワークの生成と事前の修復を学習し、オンライン強化学習によって改善し、長い水平線実行性と最終ページの品質を最適化する2段階の戦略を採用する。 得られたフレームワークは、条件付きプロジェクト状態遷移プロセスとしてマルチフレーム実行可能性をモデル化し、自己修正によって複雑なフロントエンド生成の安定性と品質を改善する。 実験により,HTML ベースの生成に視覚的忠実さのギャップを狭めながら,実行可能性の向上を図った。 コードはhttps://github.com/leo-lilinxiao/MESCoder.comで入手できる。

関連論文リスト

• Phase-wise MLLM Tuning for Multi-framework WebUI Code Generation [7.154869688815187]
  マルチモーダルな大言語モデル(MLLM)は、WebUIスクリーンショットをHTML/CSSに変換する際に、強力なパフォーマンスを達成する。 これらの失敗は一般的に、フレームワーク固有の構文とフレームワークの制約に違反することに起因する。 本稿では,マルチフレームWebUIコード生成のための微調整を指導し,位相ワイドMLLMチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-11-01T08:21:21Z)
• MulFCoder: Framework-conditioned Multi-agent for MLLM-based Multi-framework Front-end Code Generation [10.184211474383629]
  MulFCoderはフレームワーク条件のマルチエージェントメソッドで、フレームワーク制約を符号化し、決定可能なルール空間に違いをもたらす。 実験によると、MulFCoderはコンパイルの成功率を大幅に改善し、フレームワーク固有のエラーを減らす。
  論文  参考訳（メタデータ） (2026-10-25T16:17:46Z)
• DuoGen: Towards General Purpose Interleaved Multimodal Generation [65.13479486098419]
  DuoGenは汎用的なインターリーブ生成フレームワークで、データキュレーション、アーキテクチャ設計、評価に対処する。 我々は、キュレートされた生のWebサイトから書き直されたマルチモーダルな会話を組み合わせることで、大規模で高品質な命令チューニングデータセットを構築する。 2段階の切り離し戦略はまずMLLMをインストラクションチューニングし、次にインターリーブされた画像テキストシーケンスを使用してDiTをアライメントする。
  論文  参考訳（メタデータ） (2026-01-31T04:35:15Z)
• PSD2Code: Automated Front-End Code Generation from Design Files via Multimodal Large Language Models [4.847776029952831]
  PSD2Codeは、PSDファイル解析とアセットアライメントを活用する新しいマルチモーダルアプローチで、プロダクション対応のReact+SCSSコードを生成する。 本稿では,PSDファイルから階層構造,層特性,メタデータを抽出するParseAlignパイプラインを提案する。 このシステムは制約ベースのアライメント戦略を採用し、生成した要素と設計リソース間の一貫性を保証する。
  論文  参考訳（メタデータ） (2025-11-06T03:20:27Z)
• DesignCoder: Hierarchy-Aware and Self-Correcting UI Code Generation with Large Language Models [17.348284143568282]
  DesignCoderは、階層的かつ自己修正の自動化コード生成フレームワークである。 複雑なネストUI階層を理解し予測するMLLMの能力を向上するUI Grouping Chainsを導入する。 また、生成したコードのエラーを特定し、修正するモデルの能力を改善するための自己補正機構も組み込んでいます。
  論文  参考訳（メタデータ） (2025-06-16T16:20:43Z)
• SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
  We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。 従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
  論文  参考訳（メタデータ） (2025-05-29T18:28:02Z)
• Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation [43.50888291380848]
  マルチモーダル理解と生成を統合する自動回帰フレームワークであるJanusを紹介する。 Janusは視覚的エンコーディングを別々の経路に分離し、単一の統一トランスフォーマーアーキテクチャを使って処理する。 実験によると、Janusは以前の統一モデルを超え、タスク固有のモデルのパフォーマンスにマッチするか、超えている。
  論文  参考訳（メタデータ） (2024-10-17T17:58:37Z)
• InterCode: Standardizing and Benchmarking Interactive Coding with Execution Feedback [50.725076393314964]
  標準的な強化学習環境として,インタラクティブコーディングの軽量でフレキシブルで使いやすいフレームワークであるInterCodeを紹介した。 私たちのフレームワークは、言語とプラットフォームに依存しない、自己完結型のDocker環境を使用して、安全で再現可能な実行を提供します。 我々は、異なるプロンプト戦略で構成された複数の最先端LLMを評価することにより、InterCodeの生存性をテストベッドとして示す。
  論文  参考訳（メタデータ） (2023-06-26T17:59:50Z)
• Jointly Learning to Repair Code and Generate Commit Message [78.4177637346384]
  バグの多いコード、固定コード、新しいタスクのコミットメッセージを含む多言語3重データセットを構築した。 カスケード方式の誤り伝搬問題に対処するため,コード修復とコミットメッセージ生成の両立が可能なジョイントモデルを提案する。 実験結果から,教師学習法とマルチタスク学習法を併用した拡張カスケードモデルにより,自動コード修復のメトリクスの最良のスコアが得られた。
  論文  参考訳（メタデータ） (2021-09-25T07:08:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。