Fugu-MT 論文翻訳(概要): Rendering-Aware Reinforcement Learning for Vector Graphics Generation

論文の概要: Rendering-Aware Reinforcement Learning for Vector Graphics Generation

arxiv url: http://arxiv.org/abs/2505.20793v1
Date: Tue, 27 May 2025 06:56:00 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-28 17:05:58.458158
Title: Rendering-Aware Reinforcement Learning for Vector Graphics Generation
Title（参考訳）: ベクトルグラフ生成のためのレンダリング対応強化学習
Authors: Juan A. Rodriguez, Haotian Zhang, Abhay Puri, Aarash Feizi, Rishav Pramanik, Pascal Wichmann, Arnab Mondal, Mohammad Reza Samsami, Rabiul Awal, Perouz Taslakian, Spandana Gella, Sai Rajeswar, David Vazquez, Christopher Pal, Marco Pedersoli,
Abstract要約: 視覚言語モデル(VLM)におけるSVG生成を向上させるRLRF(Reinforcement Learning from Rendering Feedback)を導入する。入力画像が与えられた場合、モデルがレンダリングされたSVGロールアウトを生成し、元の画像と比較して報酬を計算する。この視覚的忠実度フィードバックは、より正確で効率的でセマンティックにコヒーレントなSVGを生成するためにモデルを導く。
参考スコア（独自算出の注目度）: 15.547843461605746
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Scalable Vector Graphics (SVG) offer a powerful format for representing visual designs as interpretable code. Recent advances in vision-language models (VLMs) have enabled high-quality SVG generation by framing the problem as a code generation task and leveraging large-scale pretraining. VLMs are particularly suitable for this task as they capture both global semantics and fine-grained visual patterns, while transferring knowledge across vision, natural language, and code domains. However, existing VLM approaches often struggle to produce faithful and efficient SVGs because they never observe the rendered images during training. Although differentiable rendering for autoregressive SVG code generation remains unavailable, rendered outputs can still be compared to original inputs, enabling evaluative feedback suitable for reinforcement learning (RL). We introduce RLRF(Reinforcement Learning from Rendering Feedback), an RL method that enhances SVG generation in autoregressive VLMs by leveraging feedback from rendered SVG outputs. Given an input image, the model generates SVG roll-outs that are rendered and compared to the original image to compute a reward. This visual fidelity feedback guides the model toward producing more accurate, efficient, and semantically coherent SVGs. RLRF significantly outperforms supervised fine-tuning, addressing common failure modes and enabling precise, high-quality SVG generation with strong structural understanding and generalization.
Abstract（参考訳）: スケーラブルベクトルグラフィックス(SVG)は、ビジュアルデザインを解釈可能なコードとして表現するための強力なフォーマットを提供する。視覚言語モデル(VLM)の最近の進歩は、コード生成タスクとして問題をフレーミングし、大規模事前学習を活用することによって、高品質なSVG生成を可能にしている。 VLMは、視覚、自然言語、コードドメイン間で知識を伝達しながら、グローバルなセマンティクスときめ細かい視覚パターンの両方をキャプチャするので、このタスクに特に適しています。しかしながら、既存のVLMアプローチは、トレーニング中にレンダリングされた画像を決して観察しないため、忠実で効率的なSVGを生成するのに苦労することが多い。自己回帰的なSVGコード生成のための微分可能レンダリングは依然として利用できないが、出力は元の入力と比較できるため、強化学習(RL)に適した評価フィードバックが可能である。 RLRF(Reinforcement Learning from Rendering Feedback)は,レンダリングされたSVG出力からのフィードバックを活用することで,自己回帰VLMにおけるSVG生成を向上させるRL手法である。入力画像が与えられた場合、モデルがレンダリングされたSVGロールアウトを生成し、元の画像と比較して報酬を計算する。この視覚的忠実度フィードバックは、より正確で効率的でセマンティックにコヒーレントなSVGを生成するためにモデルを導く。 RLRFは、教師付き微調整、共通障害モードへの対処、構造理解と一般化の強い高精度で高品質なSVG生成を実現している。

論文の概要: Rendering-Aware Reinforcement Learning for Vector Graphics Generation

関連論文リスト