論文の概要: SVGFaith: A Two-Layer Meta-Evaluation of Faithfulness Metrics for Text-to-SVG Generation
- arxiv url: http://arxiv.org/abs/2611.06048v1
- Date: Wed, 04 Nov 2026 06:55:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.004523
- Title: SVGFaith: A Two-Layer Meta-Evaluation of Faithfulness Metrics for Text-to-SVG Generation
- Title(参考訳): SVGFaith:テキストからSVG生成のための2層メタ評価
- Abstract要約: 本稿では,テキスト・ツー・SVGシステムを評価するためのフレームワークであるSVGFaithを紹介する。
依存性グラフは各プロンプトをアトミックな視覚的要求の依存性グラフに変換する。
視覚的質問応答モデルは、各要件が満たされているか否かをスコアし、その前提条件が低い場合には、要求のスコアを割引する。
- 参考スコア(独自算出の注目度): 36.70309673552844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-SVG systems are commonly evaluated by applying raster-image metrics to rasterised outputs, yet whether these scores capture fine-grained prompt faithfulness remains unclear. We introduce SVGFaith, a two-layer meta-evaluation framework in which the more faithful candidate of each pair is determined by construction or by human judgment. SVGFaith-Diagnostic contains 1,842 controlled contrastive pairs across eight capability axes, split evenly between two directions: two renderings compared against one prompt, and two descriptions compared against one rendering. SVGFaith-Arena contains 1,327 human-annotated comparisons of real generator outputs. On SVGFaith-Diagnostic, CLIP and three other image--text embedding metrics reach at least 0.789 pairwise accuracy on object identity but at most 0.672 on spatial relations and attribute binding, where chance is 0.5. We further introduce SVGFaith-Score, an interpretable pointwise metric. A domain-tuned decomposer turns each prompt into a dependency graph of atomic visual requirements, a visual question answering model scores whether each requirement is satisfied, and a requirement's score is discounted when its prerequisites score low. In addition to the overall score, the per-requirement scores show which requirements are judged unsatisfied and which inherit discounts from their prerequisites. SVGFaith-Score significantly outperforms all nine baselines, including a Qwen3.5-122B-A10B judge, on Arena and in both Diagnostic directions. Code and data: https://github.com/Yukinonooo/SVGFaith.
- Abstract(参考訳): テキスト・トゥ・SVGシステムは、ラスタ化アウトプットにラスタ・イメージ・メトリクスを適用することで一般的に評価されるが、これらのスコアがきめ細かな素早い忠実さを捉えるかどうかは不明である。
SVGFaithという2層メタ評価フレームワークを導入し、各ペアのより忠実な候補は、構築または人的判断によって決定される。
SVGFaith-Diagnosticは、8つの能力軸にまたがる1,842個の対照対を持ち、2つのレンダリングを1つのプロンプトと比較し、2つの記述を1つのレンダリングと比較する。
SVGFaith-Arenaは、実際のジェネレータ出力の人間による注釈付き比較を1,327個含んでいる。
SVGFaith-Diagnosticでは、CLIPと他の3つの画像-テキスト埋め込みメトリクスは、オブジェクトの同一性に対して少なくとも0.789の精度に達するが、空間関係と属性の結合では0.672、確率は0.5である。
さらに SVGFaith-Score を解釈可能な点計量として導入する。
ドメイン調整されたデコンパイラは、各プロンプトをアトミックな視覚的要求の依存性グラフに変換し、視覚的質問応答モデルでは、各要求が満たされているかどうかをスコアし、その前提条件が低い場合には、要求のスコアを割引する。
全体的なスコアに加えて、要求ごとのスコアは、どの要件が不満足であると判断され、前提条件から割引を継承するかを示す。
SVGFaith-Scoreは、Qwen3.5-122B-A10B審査員を含む9つの基準線全てをアリーナと診断方向の両方で大幅に上回っている。
コードとデータ:https://github.com/Yukinonooo/SVGFaith.com
関連論文リスト
- RULER: Instance-aware Rubric Rewards for SVG Generation [24.049687497770506]
我々は、強化学習(RULER)を改善するために、ルーブリックベースの報酬をどのように利用できるかを示す。
RULERは、各命令を6つの項目、視覚的、意味的、スタイリスティックな軸からなるインスタンス対応ルーブリックに変換する。
ルーリックはテキストのみから派生しているため、RULERはSVGペアの真実や人間の好みのラベルを必要としない。
論文 参考訳(メタデータ) (2026-09-21T18:16:40Z) - SVG-Score: Human-Aligned Evaluation of Text-to-SVG Generation [62.7676301168359]
テキスト間SVG生成のためのヒューマンアライメント評価フレームワークである textbfours を紹介する。
CLIPベースのスコアは、SVGジェネレータが実際に行うエラー、例えば色、数、空間関係にほとんど反応しないことを示す。
次に、テキストセマンティックアライメントのための人間注釈付きデータセットを導入し、生成したSVGがそのキャプションをいかに忠実に反映するかを測定する。
論文 参考訳(メタデータ) (2026-09-03T13:12:37Z) - SVGEval: A Vision-Grounded Framework for Perceptual-Quality Benchmarking and Evaluation in Text-to-SVG Generation [49.00672742747506]
拡張性ベクターグラフィックス(SVG)を生成するために,マルチモーダルな大規模モデルがますます利用されている
既存のプロトコルはSVGをレンダリングした後、しばしばコード中心または借用イメージのメトリクスである。
SVGEvalは,人手によるSVG品質評価のためのマルチモーダル・ベンチマークである。
論文 参考訳(メタデータ) (2026-08-03T09:41:18Z) - DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance [48.98604326855894]
本稿では,画像トークンと対応するSVGトークンをエンドツーエンドで共同生成する統合マルチモーダルモデルであるDuetSVGを紹介する。
提案手法は,SVGデコードの品質向上のためのガイダンスとして,モデルのネイティブな視覚的予測を活用する新しいテストタイムスケーリング戦略を適用する。
論文 参考訳(メタデータ) (2025-12-11T18:23:03Z) - SVGauge: Towards Human-Aligned Evaluation for SVG Generation [5.565553009801627]
本稿では,テキスト・ツー・SVG生成のための,最初のヒューマン・アライン・リファレンス・ベース・メトリックであるSVGaugeを紹介する。
SVGaugeは、SigLIP画像の埋め込みを抽出し、PCAで精製し、ドメインアライメントのために白化することで得られる視覚的忠実度を測定した。
提案したSHEベンチマークによる評価は,SVGaugeが人間の判断と最も相関していることを示している。
論文 参考訳(メタデータ) (2025-09-08T18:28:31Z) - OmniSVG: A Unified Scalable Vector Graphics Generation Model [69.59073636922287]
我々は、エンドツーエンドのマルチモーダルSVG生成に事前訓練されたビジョンランゲージモデルを活用する統一フレームワークであるOmniSVGを提案する。
SVGコマンドと座標を離散トークンにパラメタ化することにより、OmniSVGは複雑なSVG構造の合成を維持しながら、低レベルの幾何学から構造論理を分離し、効率的なトレーニングを行う。
本稿では,200万の注釈付きSVGアセットを持つマルチモーダルデータセットMMSVG-2Mと,条件付きSVG生成タスクの標準化された評価プロトコルを紹介する。
論文 参考訳(メタデータ) (2025-04-08T17:59:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。