論文の概要: From Visual Widgets to UI Code: Efficient Tool-Grounded Generation
- arxiv url: http://arxiv.org/abs/2608.12611v1
- Date: Wed, 12 Aug 2026 21:49:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.332392
- Title: From Visual Widgets to UI Code: Efficient Tool-Grounded Generation
- Title（参考訳）: Visual WidgetsからUI Codeへ:効率的なツール群生成
- Abstract要約: textbfWidgetGenは、観測可能なテキストとカラーエビデンスを抽出する軽量なツールグラウンドフレームワークである。
6つのマルチモーダルモデルと(1,000)ホールドアウトウィジェットで、WidgetGenは直接プロンプトと構造化されたWidget2Codeパイプラインを、ほとんどのビジュアルリコンストラクションメトリクスで上回っている。
- 参考スコア（独自算出の注目度）: 24.027069079461697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing screenshot-to-code systems face a trade-off between flexibility and controllability. Direct multimodal generation can hallucinate visible details, whereas structured pipelines reduce such errors through component-wise decomposition, predefined templates, and customized intermediate representations. These structures, however, introduce additional generative orchestration and restrict outputs to designs covered by the representation. We investigate whether selective tool grounding can improve the fidelity--efficiency trade-off of direct widget-to-code generation. We introduce \textbf{WidgetGen}, a lightweight tool-grounded framework that extracts observable text and color evidence, performs high-level layout and optional chart reasoning, and directly generates executable JavaScript XML (\emph{JSX}). This design reduces reliance on component-wise generation while avoiding a fixed UI schema. Across six multimodal models and \(1{,}000\) held-out widgets, WidgetGen outperforms direct prompting and the structured Widget2Code pipeline on most visual reconstruction metrics, with consistent gains in area, legibility, and style. Finally, reconstruction-derived image-code pairs improve six Qwen-family open-weight models across every reported metric through supervised fine-tuning. These results establish WidgetGen as a strong lightweight baseline and show that selective evidence grounding offers an effective alternative to extensive representation constraints.
- Abstract（参考訳）: 既存のスクリーンショット・トゥ・コードシステムは、柔軟性と可制御性の間のトレードオフに直面している。
直接マルチモーダル生成は目に見える詳細を幻覚させるが、構造化パイプラインはコンポーネントの分解、事前定義されたテンプレート、カスタマイズされた中間表現を通じてそのようなエラーを減らす。
しかし、これらの構造はさらなる生成的オーケストレーションを導入し、表現によってカバーされる設計に出力を制限する。
我々は,選択ツールの接地により,直接ウィジェット・コード生成の効率トレードオフが向上するかどうかを検討する。
本稿では,可観測テキストとカラーエビデンスを抽出し,高レベルのレイアウトと任意のチャート推論を行い,実行可能なJavaScript XML(\emph{JSX})を直接生成する軽量なツールグラウンドフレームワークである \textbf{WidgetGen} を紹介する。
この設計は、固定UIスキーマを避けながらコンポーネントワイズ生成への依存を減らす。
6つのマルチモーダルモデルと1{,}000\)ホールドアウトウィジェットで、WidgetGenは直接プロンプトと構造化されたWidget2Codeパイプラインを、ほとんどの視覚的再構成メトリクスで上回っており、領域、可視性、スタイルが一貫して向上している。
最後に、再構成由来の画像コードペアは、教師付き微調整により、報告されたメトリック毎に6つのQwenファミリーのオープンウェイトモデルを改善する。
これらの結果は、WidgetGenを強力な軽量ベースラインとして確立し、選択的エビデンス基盤が広範な表現制約に代わる効果的な代替手段であることを示す。
関連論文リスト
- Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification [80.62512020268626]
UniARは統合された自己回帰フレームワークであり、単一のビジュアルトークン化器が理解と生成の鍵となる。
UniARは、マルチレベル特徴融合とルックアップフリービットワイド量子化スキームを備えた事前訓練されたビジョンエンコーダを適応する。
拡散に基づく視覚デコーダは、離散的な視覚トークンで高忠実度画像をデコードする。
論文 参考訳（メタデータ） (2026-06-16T17:59:22Z) - Beyond the Grid: Layout-Informed Multi-Vector Retrieval with Parsed Visual Document Representations [39.98860473310998]
ColParseは、ドキュメント解析モデルを利用して、レイアウトインフォームドされた小さなサブイメージの埋め込みを生成する新しいパラダイムである。
実験により,本手法はストレージ要求を95%以上削減し,同時に性能向上を図っている。
論文 参考訳（メタデータ） (2026-03-02T09:55:00Z) - ForgeryVCR: Visual-Centric Reasoning via Efficient Forensic Tools in MLLMs for Image Forgery Detection and Localization [62.03035862528452]
ForgeryVCRは、視覚中心推論(Visual-Centric Reasoning)を通じて、知覚できないトレースを明示的な視覚中間体に物質化するフレームワークである。
ForgeryVCRは、検出タスクとローカライゼーションタスクの両方において、最先端(SOTA)のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-02-15T11:14:47Z) - NL2Dashboard: A Lightweight and Controllable Framework for Generating Dashboards with LLMs [38.148675833251325]
ダッシュボード生成のための軽量フレームワークであるNL2Dashboardを提案する。
ダッシュボードの内容、レイアウト、視覚要素をカプセル化する構造化中間表現(IR)を導入する。
この枠組みに基づいて、IR駆動型アルゴリズムを一組のツールとしてインスタンス化するマルチエージェントシステムの開発を行う。
論文 参考訳（メタデータ） (2026-01-04T13:26:04Z) - VSA:Visual-Structural Alignment for UI-to-Code [29.15071743239679]
視覚テキストアライメントにより組織化された資産を合成するための多段階パラダイムであるbfVSA(VSA)を提案する。
私たちのフレームワークは、最先端のベンチマークよりもコードのモジュール化とアーキテクチャの一貫性を大幅に改善します。
論文 参考訳（メタデータ） (2025-12-23T03:55:45Z) - From Feature Interaction to Feature Generation: A Generative Paradigm of CTR Prediction Models [81.43473418572567]
CTR(Click-Through Rate)予測は、レコメンデーションシステムにおける中核的なタスクである。
本稿では,埋め込み次元の崩壊と情報冗長性に対処する新しい生成フレームワークを提案する。
SFGは埋没崩壊を緩和し,情報冗長性を低減し,性能向上を図っている。
論文 参考訳（メタデータ） (2025-12-16T03:17:18Z) - ChartAgent: A Chart Understanding Framework with Tool Integrated Reasoning [26.725654222717335]
ツール統合推論に基づくチャート理解フレームワークであるChartAgentを紹介する。
人間の認識にインスパイアされたChartAgentは、複雑なチャート解析を可観測で再生可能な一連のステップに分解する。
スパースアノテーション設定下ではChartAgentが大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2025-12-16T03:17:04Z) - Less is More: Empowering GUI Agent with Context-Aware Simplification [62.02157661751793]
我々は,SimpAgentと呼ばれる,効率的かつ効果的なGUIエージェントを構築するためのコンテキスト認識フレームワークを提案する。
上記のコンポーネントにより、SimpAgentは27%のFLOPを削減し、優れたGUIナビゲーション性能を実現する。
論文 参考訳（メタデータ） (2025-07-04T17:37:15Z) - CAL-RAG: Retrieval-Augmented Multi-Agent Generation for Content-Aware Layout Design [6.830055289299306]
CAL-RAGは、コンテンツ対応レイアウト生成のための検索拡張エージェントフレームワークである。
我々は、LangGraphを使ってフレームワークを実装し、セマンティック変数に富んだベンチマークで評価する。
その結果,検索強化とエージェント的多段階推論を組み合わせることで,拡張性,解釈性,高忠実度な解が得られることがわかった。
論文 参考訳（メタデータ） (2025-06-27T06:09:56Z) - FOCUS: Unified Vision-Language Modeling for Interactive Editing Driven by Referential Segmentation [55.01077993490845]
最近のLVLM(Large Vision Language Models)は、視覚的理解と生成的モデリングを統一する有望な能力を示している。
本稿では,分割認識と制御可能なオブジェクト中心生成をエンドツーエンドフレームワークに統合した統合LVLMであるFOCUSを紹介する。
論文 参考訳（メタデータ） (2025-06-20T07:46:40Z) - PosterLLaVa: Constructing a Unified Multi-modal Layout Generator with LLM [58.67882997399021]
本研究では,グラフィックレイアウトの自動生成のための統合フレームワークを提案する。
データ駆動方式では、レイアウトを生成するために構造化テキスト(JSONフォーマット)とビジュアルインストラクションチューニングを用いる。
我々は,ユーザのデザイン意図に基づいて編集可能なポスターを生成する自動テキスト投稿システムを開発した。
論文 参考訳（メタデータ） (2024-06-05T03:05:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。