論文の概要: AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards
- arxiv url: http://arxiv.org/abs/2610.18860v1
- Date: Tue, 13 Oct 2026 17:59:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.706476
- Title: AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards
- Title（参考訳）: AesCode: 分離されたクロスモーダルリワードによる美的コード生成
- Abstract要約: 美的指導と同じプロンプトから生成された画像を用いて,コンテンツプロンプトに接するコードを生成するAesCodeを紹介する。
そのために、AesCodeはターゲットを、キャンバス全体を記述する設計グラフとして表現し、それぞれのプロパティを帰属させる。
参照画像は既存のモデルが生成するコードの視覚的品質を大幅に改善し、AesCodeはモデル入力や視覚的報酬の源として参照から恩恵を受けることを示す。
- 参考スコア（独自算出の注目度）: 56.31327687423783
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating information-rich visual artifacts such as slides, posters, and dashboards as code is appealing because the outputs are structured, editable, and verifiable. Yet code models cannot see how their choices of layout and color come together on the canvas, often limiting spatial planning and aesthetic quality. Image generators excel at visual design but can misrender requested content, making their outputs unreliable targets for direct reproduction. We therefore introduce AesCode, which generates code grounded in the content prompt while using an image generated from the same prompt as an aesthetic guidance. To do so, AesCode represents the target as a design graph that describes the whole canvas and makes each property attributable. From this graph, we derive complementary cross-modal rewards: deterministic verifiers score properties parsable from code and rendering, while a VLM judge assesses the non-parsable ones with a sample-specific Visual Graph Rubric (VGR) tied to graph elements and relations. We optimize these decoupled rewards through reinforcement learning with per-channel normalization to jointly improve spatial planning, aesthetic quality, and verifiable correctness. To evaluate this setting, we build a benchmark that scores verifiable correctness and visual quality separately, with visual scores highly consistent with human judgments. We find that reference images substantially improve the visual quality of code generated by existing models, and ablations show that AesCode benefits from references both as model input and as a source of visual rewards. Relative to same-scale Qwen3-VL baselines given the same references, AesCode-8B and AesCode-32B improve visual quality by 31.1 and 22.4 percentage points, reaching scores comparable to those of closed-source frontier models such as GPT-5.5 and Claude Opus 4.8.
- Abstract（参考訳）: アウトプットが構造化され、編集可能で、検証可能なので、スライド、ポスター、ダッシュボードなどの情報豊富なビジュアルアーティファクトをコードとして生成することは魅力的です。
しかし、コードモデルは、レイアウトと色の選択がキャンバス上でどのように結びつくかを見ることができず、しばしば空間的な計画と美的品質を制限する。
イメージジェネレータはビジュアルデザインに優れるが、要求されたコンテンツを誤解し、直接再生するために出力を信頼できないターゲットにする。
そこで我々は,コンテンツプロンプトに接頭したコードを生成するAesCodeを紹介し,美的ガイダンスと同じプロンプトから生成された画像を使用する。
そのために、AesCodeはターゲットを、キャンバス全体を記述する設計グラフとして表現し、それぞれのプロパティを帰属させる。
決定論的検証器は、コードとレンダリングからパース可能なプロパティをスコアし、VLM判断器は、グラフ要素と関係に結びついたサンプル固有のVisual Graph Rubric(VGR)を用いて、パースできないプロパティを評価します。
チャネルごとの正規化による強化学習を通じて、これらの疎結合報酬を最適化し、空間計画、審美的品質、検証可能な正しさを共同で改善する。
この設定を評価するために、検証された正確さと視覚的品質を別々にスコアするベンチマークを構築し、視覚的スコアは人間の判断と高度に一致している。
参照画像は既存のモデルが生成するコードの視覚的品質を大幅に改善し、AesCodeはモデル入力や視覚的報酬の源として参照から恩恵を受けることを示す。
同じ基準のQwen3-VLベースラインに対して、AesCode-8BとAesCode-32Bは視品質を31.1ポイントと22.4ポイント改善し、GPT-5.5やClaude Opus 4.8のようなクローズドソースフロンティアモデルに匹敵するスコアに達した。
関連論文リスト
- Self-Distillation Policy Optimization via Visual Feedback: Bridging Code and Visual Artifacts [4.312910873423553]
コード生成ビジュアルアーティファクトの視覚自己蒸留について検討する。
Visual-SDPOは、描画された視覚フィードバックを、重量共有教師の特権的な文脈として扱う。
Visual-SDPOはゼロショットベースを10以上の絶対点で改善する。
論文 参考訳（メタデータ） (2026-06-09T02:28:39Z) - Vision2Code: A Multi-Domain Benchmark for Evaluating Image-to-Code Generation [18.596629746844567]
画像・コード生成のための参照不要なベンチマークおよび評価フレームワークであるVision2Codeを紹介する。
Vision2Codeには、チャートやプロット、幾何学、グラフ、科学画像、ドキュメント、三次元空間シーンにまたがる15のソースデータセットから2,169のサンプルが含まれている。
コード実行障害を再構築品質から分離するレンダス診断を報告する。
論文 参考訳（メタデータ） (2026-05-11T22:50:12Z) - Visual-ERM: Reward Modeling for Visual Equivalence [59.317480168347664]
Visual Equivalence Reward Model (Visual-ERM)は、細粒度、解釈可能、タスクに依存しないフィードバックを提供するマルチモーダル生成報酬モデルである。
Visual-ERM は Qwen3-VL-8B-Instruct を 8.4 で改善し、テーブルとSVGのパースで一貫したゲインを得る。
VisualCritic-RewardBench(VC-RewardBench)は、構造化された視覚データに対して微細な画像と画像の相違を判定するためのベンチマークである。
論文 参考訳（メタデータ） (2026-03-13T17:58:14Z) - Visual Self-Refine: A Pixel-Guided Paradigm for Accurate Chart Parsing [76.2602505940467]
既存のモデルは、しばしば視覚的に密集したチャートに苦しむため、データの欠落、修正ミス、幻覚などのエラーにつながる。
複雑なチャートを読む際の精度を確保するために指を視覚アンカーとして使うという人間の戦略に触発され、視覚自己認識(VSR)と呼ばれる新しいパラダイムを提案する。
VSRの中核となる考え方は、モデルがピクセルレベルのローカライゼーション出力を生成し、それらを視覚化し、それらの視覚化を自身にフィードバックし、直感的にその潜在的な視覚的認識エラーを検査し修正できるようにすることである。
論文 参考訳（メタデータ） (2026-02-18T13:40:53Z) - Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。
注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。
被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
論文 参考訳（メタデータ） (2025-09-26T07:11:55Z) - RefChartQA: Grounding Visual Answer on Chart Images through Instruction Tuning [63.599057862999]
RefChartQAは、Chart Question Answering(ChartQA)とビジュアルグラウンドを統合した、新しいベンチマークである。
実験により,グラウンド化による空間認識を取り入れることで,応答精度が15%以上向上することが実証された。
論文 参考訳（メタデータ） (2025-03-29T15:50:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。