論文の概要: Phase-wise MLLM Tuning for Multi-framework WebUI Code Generation

• arxiv url: http://arxiv.org/abs/2611.01692v1
• Date: Sun, 01 Nov 2026 08:21:21 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:24:36.738283
• Title: Phase-wise MLLM Tuning for Multi-framework WebUI Code Generation
• Title（参考訳）: 多フレームWebUIコード生成のためのフェーズワイドMLLMチューニング
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、WebUIスクリーンショットをHTML/CSSに変換する際に、強力なパフォーマンスを達成する。 これらの失敗は一般的に、フレームワーク固有の構文とフレームワークの制約に違反することに起因する。 本稿では,マルチフレームWebUIコード生成のための微調整を指導し,位相ワイドMLLMチューニング手法を提案する。
• 参考スコア（独自算出の注目度）: 7.154869688815187
• License:
• Abstract: Multimodal large language models (MLLMs) achieve strong performance in translating WebUI screenshots into HTML/CSS. However, when they faced multiple frameworks (React/Vue/Angular), they often suffer from negative transfer that leads to compilation failures. These failures commonly stem from mixing framework specific syntax and violating framework constraints. This paper studies supervised fine-tuning for multi-framework WebUI code generation and proposes a phase-wise MLLM tuning method driven by compatibility and heterogeneity signals across frameworks. We first apply a normalization mapping that preserves each framework's native syntax while suppressing noise from variable naming and literal content. We then estimate cross framework heterogeneity and compatibility offline, and automatically derive training groups and their ordering by maximizing a phased objective. Finally, we perform phase-wise adapter tuning to reduce cross framework interference. Experiments on multiple benchmarks show that our proposed method improves both generation quality and compilation success rate compared with baselines.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)は、WebUIスクリーンショットをHTML/CSSに変換する際に、強力なパフォーマンスを達成する。 しかしながら、複数のフレームワーク(React/Vue/Angular)に直面している場合、コンパイルの失敗につながる負の転送に悩まされることが多い。 これらの失敗は一般的に、フレームワーク固有の構文とフレームワークの制約に違反することに起因する。 本稿では,多フレームWebUIコード生成のための微調整を指導し,フレームワーク間の互換性と不均一性によって駆動される位相ワイドMLLMチューニング手法を提案する。 まず,変数の命名やリテラルの内容からノイズを抑えながら,各フレームワークのネイティブ構文を保存する正規化マッピングを適用する。 次に、クロスフレームワークの不均一性と互換性をオフラインで推定し、段階的目標を最大化することで、トレーニンググループとその順序を自動的に導出する。 最後に、クロスフレームワーク干渉を低減するため、位相ワイドアダプタチューニングを行う。 複数のベンチマーク実験により,提案手法はベースラインと比較して生成品質とコンパイル成功率の両方を向上することが示された。

関連論文リスト

• Toward Executable Multi-framework Front-end Code Generation with Self-Correction [7.1910378541342865]
  実行可能複数フレームのフロントエンドコード生成について検討し,木構造自己補正フレームワークMESCoderを提案する。 提案手法は,まずスクリーンショットから構造的な足場を抽出し,次にサブツリーとアセンブリ関係を段階的に構築し,大規模プロジェクト生成を局所的な決定へと変換する。 実験により,HTML ベースの生成に視覚的忠実さのギャップを狭めながら,実行可能性の向上を図った。
  論文  参考訳（メタデータ） (2026-11-01T00:43:18Z)
• MulFCoder: Framework-conditioned Multi-agent for MLLM-based Multi-framework Front-end Code Generation [10.184211474383629]
  MulFCoderはフレームワーク条件のマルチエージェントメソッドで、フレームワーク制約を符号化し、決定可能なルール空間に違いをもたらす。 実験によると、MulFCoderはコンパイルの成功率を大幅に改善し、フレームワーク固有のエラーを減らす。
  論文  参考訳（メタデータ） (2026-10-25T16:17:46Z)
• DANTINOX: A Unified Framework for Multi-Paradigm Language Modeling [42.60363805227946]
  オープンソースのJAX/FlaxライブラリであるDantinoXを紹介します。 生成パラダイム、アテンションメカニズム、ハードウェアトポロジを切り替えるには、構成の変更が必要だが、バックボーンアーキテクチャ、トークンエーザ、トレーニングインフラストラクチャは一貫している。 これにより、トレーニング、ストリーミング推論、ベンチマークのための1つのAPI内で、管理されたパラダイム間比較が可能になる。
  論文  参考訳（メタデータ） (2026-07-11T08:46:11Z)
• PRISMR: Overcoming Parse Collapse in Multimodal Listwise Ranking via Parameterized Representation Internalization [49.659739762240655]
  LMM(Large Multimodal Models)を用いたジェネレーティブ・リストワイド・ランキングは,グローバル・リストのコンテキストを単一の前方通過で捉えることを目的としている。 自動回帰デコーダは、無音で候補を省略し、早期に終了することで、流動的で不完全なランク付けを発生させる。 PRISMRは、一貫したコンテキスト内リスト処理をパラメトリックな構造条件に置き換えるフレームワークである。
  論文  参考訳（メタデータ） (2026-06-11T06:09:51Z)
• FlowSeg: Dynamic Semantic Guidance for LLM-Conditioned Segmentation [76.08991871243333]
  FlowSegは、中間復号状態と条件埋め込みの間の双方向のセマンティックフローを通じてセマンティックガイダンスを導入する。 この設計は意味的に接地されたマスク表現と視覚的に整合した言語条件をもたらし、より信頼性の高いマッチングを可能にする。
  論文  参考訳（メタデータ） (2026-05-28T06:55:35Z)
• Squeezing Capacity from Multimodal Large Language Models for Subject-driven Generation [22.419513267677278]
  既存のアプローチはしばしばテキストと参照画像を別々にエンコードする。 マルチモーダルモデルと拡散モデルを結ぶ最近のフレームワークは、命令のフォローを改善するが、ほとんどはアイデンティティの保存を見落としている。 テキストと参照画像を共同でエンコードする多モーダル大言語モデル上での拡散モデルを構築し,それをVAEベースのID条件付きで拡張する。 提案手法は,マルチモーダル理解とアイデンティティ保護を調和させ,コピー・ペースト問題を緩和し,主観的画像生成における人間の嗜好に関する優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-05-25T17:59:35Z)
• OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models [69.2503510410147]
  予め訓練されたVLM上に構築した統合自動運転フレームワークを提案する。 トレーニング済みのVLMアテンションは、純粋言語モデリング以上の強い伝達性を示すことを示す。 エンドツーエンドの自動運転ベンチマークの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-04-20T07:50:00Z)
• ThinkGen: Generalized Thinking for Visual Generation [97.19923474851987]
  ThinkGenは、さまざまな世代のシナリオでChain-of-Thought(CoT)推論を明示的に活用する、思考駆動のビジュアル生成フレームワークである。 本稿では,MLLMとDiTモジュール間の強化学習を交互に行う,分離可能なGRPOベースのトレーニングパラダイムを提案する。 実験の結果、ThinkGenは複数の世代ベンチマークで堅牢で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-12-29T16:08:50Z)
• Modular Layout Synthesis (MLS): Front-end Code via Structure Normalization and Constrained Generation [18.154715745625328]
  フロントエンドエンジニアリングの自動化は、開発サイクルを大幅に削減し、手動によるコーディングオーバーヘッドを最小化する。 現在のソリューションは、ReactやVue、Angularといった現代的なエコシステムをサポートしない、モノリシックなスクリプトを生成することが多い。 本稿では,視覚的理解と構造正規化を融合した階層型フレームワークであるMLSを紹介する。 MLSは既存のベースラインを大幅に上回り、コードの再利用性と複数のフレームワーク間の構造的整合性を確保する。
  論文  参考訳（メタデータ） (2025-12-22T03:24:11Z)
• Objective Soups: Multilingual Multi-Task Modeling for Speech Processing [69.52720282028385]
  マルチ言語・マルチタスク音声処理(MSP)のための単一モデルの訓練は,タスク間の目的の相反によって著しく妨げられる。 本稿では,多目的MSPの3つの定式化について検討し,これらをthabfobjective soup recipesと呼ぶ。 我々の研究は、階層型MOOが最先端のMSPモデルを構築する上で、より効率的でスケーラブルなアプローチであることを実証している。
  論文  参考訳（メタデータ） (2025-08-12T07:01:09Z)
• Hierarchical Local-Global Transformer for Temporal Sentence Grounding [58.247592985849124]
  本稿では,時間文グラウンドリングのマルチメディア問題について検討する。 与えられた文問合せに従って、トリミングされていないビデオ内の特定のビデオセグメントを正確に決定することを目的としている。
  論文  参考訳（メタデータ） (2022-08-31T14:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。