論文の概要: UniCoder: Unified Visual-to-Code Generation via Symbolic Rewards and Reference-Guided Code Optimization

• arxiv url: http://arxiv.org/abs/2606.31732v1
• Date: Tue, 30 Jun 2026 14:29:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.26944
• Title: UniCoder: Unified Visual-to-Code Generation via Symbolic Rewards and Reference-Guided Code Optimization
• Title（参考訳）: UniCoder: シンボリック・リワードと参照誘導コード最適化による統一されたビジュアル・ツー・コード生成
• Abstract要約: 2つの新しいメカニズムを統合する統一RLフレームワークであるUniCoderを紹介する。 まず,生成されたコードを個別の視覚属性に解析するために,軽量な補助LCMを用いたtextbfSymbolic Attribute Alignmentを提案する。 第二に、局所最適化から逃れるために、低パフォーマンスなロールアウトグループに地上軌道を動的に注入する戦略である textbfReference-Guided Code Optimization を考案した。
• 参考スコア（独自算出の注目度）: 22.627858794105066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual-to-Code generation, which transforms scientific plots, vector graphics, and webpages into executable scripts, demands a level of pixel-precise alignment that standard Multimodal Large Language Models (MLLMs) fail to achieve through Supervised Fine-Tuning (SFT) alone. While Reinforcement Learning (RL) offers a theoretical pathway to bridge this gap, its application is hindered by two fundamental obstacles: (1) \textit{Reward Coarseness}, where semantic metrics like CLIP scores fail to penalize fine-grained element deviations, and (2) \textit{Exploration Stagnation}, where the sparse, heterogeneous code search space prevents the policy from bootstrapping valid trajectories. To overcome these limitations, we introduce UniCoder, a unified RL framework that integrates two novel mechanisms. First, we propose \textbf{Symbolic Attribute Alignment}, which employs a lightweight auxiliary LLM to parse generated code into discrete visual attributes (e.g., hex colors, coordinate limits), enabling dense, element-wise reward computation. Second, to escape local optima, we devise \textbf{Reference-Guided Code Optimization}, a strategy that dynamically injects ground-truth trajectories into low-performing rollout groups, transforming blind exploration into guided policy improvement. Extensive experiments on ChartMimic, UniSVG, Design2Code and ScreenBench benchmarks demonstrate that our 8B-parameter model not only surpasses all open-source baselines but also achieves state-of-the-art performance comparable to proprietary models, establishing a new paradigm for generalized visual-to-code synthesis.
• Abstract（参考訳）: 科学的なプロットやベクトルグラフィックス、Webページを実行可能なスクリプトに変換するビジュアル・ツー・コード生成では、標準のマルチモーダル大言語モデル(MLLM)がスーパービジョン・ファイン・チューニング(SFT)だけでは達成できないようなピクセル精度のアライメントが要求される。 Reinforcement Learning (RL)は、このギャップを埋める理論的経路を提供するが、その応用には、(1)CLIPスコアのようなセマンティックなメトリクスが細かい要素の偏差をペナル化するのに失敗する、(2)不均一なコード探索空間が有効な軌道をブートストラップするのを防ぐ、という2つの基本的な障害がある。 これらの制限を克服するために,2つの新しいメカニズムを統合する統一RLフレームワークであるUniCoderを導入する。 まず、生成したコードを離散的な視覚属性(ヘックス色、座標制限など)にパースするために軽量な補助LCMを用いて、高密度で要素ワイドな報酬計算を可能にする、textbf{Symbolic Attribute Alignment}を提案する。 第二に、局所最適化から逃れるために、地上軌道を低パフォーマンスなロールアウトグループに動的に注入し、ブラインド探索をガイドされたポリシー改善に変換する戦略である、textbf{Reference-Guided Code Optimization}を考案した。 ChartMimic、UniSVG、Design2Code、ScreenBenchベンチマークの大規模な実験により、我々の8Bパラメータモデルは、すべてのオープンソースベースラインを超えるだけでなく、プロプライエタリなモデルに匹敵する最先端のパフォーマンスも達成し、一般化されたビジュアル・ツー・コード合成の新しいパラダイムを確立した。

関連論文リスト

• Break the Optimization Barrier of LLM-Enhanced Recommenders: A Theoretical Analysis and Practical Framework [5.68373404216548]
  Training-Friendly LLM-Enhanced Recommender (TF-LLMER)は、2つの主要なコンポーネントを持つ軽量フレームワークである。 Rec-PCAはコラボレーティブな構造を表現変換に注入するレコメンデーション対応次元減少法である。 TF-LLMERは最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2026-04-22T12:22:47Z)
• CoDe-R: Refining Decompiler Output with LLMs via Rationale Guidance and Adaptive Inference [10.71961188176124]
  バイナリ逆コンパイルは、削除された実行ファイルから高レベルのソースコードを再構築することを目的とした、重要なリバースエンジニアリングタスクである。 大規模言語モデル(LLM)は、最近、約束を示すが、しばしば「科学的幻覚」と「セマンティックなミスアライメント」に悩まされる。 本稿では,2段階の軽量コード精錬フレームワークであるCoDe-Rを提案する。
  論文  参考訳（メタデータ） (2026-04-14T15:58:38Z)
• Thinking with Images as Continuous Actions: Numerical Visual Chain-of-Thought [55.65577137924979]
  本稿では,連続的な数値座標を用いたMLLM画像の推論を可能にするフレームワークを提案する。 NV-CoTはMLLM作用空間を離散語彙トークンから連続ユークリッド空間へと拡張する。 3つのベンチマーク実験により、NV-CoTは局所化精度と最終回答精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-02-27T12:04:07Z)
• Aligning Text, Code, and Vision: A Multi-Objective Reinforcement Learning Framework for Text-to-Visualization [50.13408999553116]
  テキスト2Vis生成のための最初の強化学習フレームワークであるRL-Text2Visを提案する。 本手法では,テキストの精度,コードの有効性,可視化品質を共同で最適化する新しい多目的報酬を用いている。 その結果,GRPOは可視化生成における構造的マルチモーダル推論の効果的な戦略として確立された。
  論文  参考訳（メタデータ） (2026-01-08T04:29:07Z)
• VinciCoder: Unifying Multimodal Code Generation via Coarse-to-fine Visual Reinforcement Learning [13.193184888476404]
  統合マルチモーダルコード生成モデルである textbfciCoder を導入する。 まず、1.6Mイメージコードペアからなる大規模スーパービジョンファインタニング(SFT)コーパスを構築する。 次に,ビジュアル強化学習(ViRL)戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-01T04:05:26Z)
• IAR2: Improving Autoregressive Visual Generation with Semantic-Detail Associated Token Prediction [77.06211178777939]
  IAR2は、階層的なセマンティックディーテール合成プロセスを可能にする高度な自己回帰フレームワークである。 我々は、IAR2が自動回帰画像生成のための新しい最先端技術を設定し、ImageNet上で1.50のFIDを達成することを示す。
  論文  参考訳（メタデータ） (2025-10-08T12:08:21Z)
• Inpainting-Guided Policy Optimization for Diffusion Large Language Models [67.97530437998117]
  自己回帰型LLMの代替として,マスケッド拡散大言語モデル (dLLM) が登場している。 本稿では,dLLMに対するRLアルゴリズムの設計について検討する。
  論文  参考訳（メタデータ） (2025-09-12T16:44:31Z)
• Two Facets of the Same Optimization Coin: Model Degradation and Representation Collapse in Graph Foundation Models [41.39154912912367]
  GFMはマルチドメインのテキスト属性グラフから最適な埋め込み関数を学習するために設計されている。 グラフ VQ-MAE は、ますます多様な GFM の風景の中で際立っている。 その可能性にも拘わらず、領域の一般化の衝突は認識不能な落とし穴を引き起こす。
  論文  参考訳（メタデータ） (2025-09-10T08:45:08Z)
• Boosting Chart-to-Code Generation in MLLM via Dual Preference-Guided Refinement [16.22363384653305]
  MLLM(Multimodal Large Language Models)は、きめ細かい視覚解析、正確なコード合成、堅牢なクロスモーダル推論を行う。 本稿では、フィードバック駆動の2つのモダリティ報酬機構と反復的な嗜好学習を組み合わせた2つの嗜好誘導改善フレームワークを提案する。 本フレームワークは汎用MLLMの性能を大幅に向上させ,高品質なプロットコードを生成する。
  論文  参考訳（メタデータ） (2025-04-03T07:51:20Z)
• Improving Autoregressive Visual Generation with Cluster-Oriented Token Prediction [52.09472099976885]
  IARは、LLMベースのビジュアル生成モデルのトレーニング効率と生成品質を向上させる改良された自動回帰ビジュアル生成方法である。 提案手法は,モデルのトレーニング効率と性能を100Mから1.4Bに継続的に向上させ,同じFIDを達成しながらトレーニング時間を半減させる。
  論文  参考訳（メタデータ） (2025-01-01T15:58:51Z)
• GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
  グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。 本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
  論文  参考訳（メタデータ） (2024-12-08T05:49:58Z)
• GLARE: Low Light Image Enhancement via Generative Latent Feature based Codebook Retrieval [80.96706764868898]
  我々は、GLARE(Generative LAtent Feature based codebook Retrieval)を介して、新しい低照度画像強調(LLIE)ネットワークを提案する。 Invertible Latent Normalizing Flow (I-LNF) モジュールを開発し、LL特徴分布をNL潜在表現に整合させ、コードブック内の正しいコード検索を保証する。 さまざまなベンチマークデータセットと実世界のデータに対するGLAREの優れたパフォーマンスを確認する実験。
  論文  参考訳（メタデータ） (2024-07-17T09:40:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。