論文の概要: Vision2Code: A Multi-Domain Benchmark for Evaluating Image-to-Code Generation

• arxiv url: http://arxiv.org/abs/2605.11307v1
• Date: Mon, 11 May 2026 22:50:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.465212
• Title: Vision2Code: A Multi-Domain Benchmark for Evaluating Image-to-Code Generation
• Title（参考訳）: Vision2Code: 画像からコードへの生成を評価するためのマルチドメインベンチマーク
• Authors: Ajay Vikram Periasami, Junlin Wang, Bhuwan Dhingra,
• Abstract要約: 画像・コード生成のための参照不要なベンチマークおよび評価フレームワークであるVision2Codeを紹介する。 Vision2Codeには、チャートやプロット、幾何学、グラフ、科学画像、ドキュメント、三次元空間シーンにまたがる15のソースデータセットから2,169のサンプルが含まれている。 コード実行障害を再構築品質から分離するレンダス診断を報告する。
• 参考スコア（独自算出の注目度）: 18.596629746844567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image-to-code generation tests whether a vision-language model (VLM) can recover the structure of an image enough to express it as executable code. Existing benchmarks either focus on narrow visual domains, depend on paired executable reference code, or rely on generic rubrics that miss domain-specific reconstruction errors. We introduce Vision2Code, a reference-code-free benchmark and evaluation framework for multi-domain image-to-code generation. Vision2Code contains 2,169 test examples from 15 source datasets that span charts and plots, geometry, graphs, scientific imagery, documents, and 3D spatial scenes. Models generate executable programs, which we render and score against the source image using a VLM rater with dataset-specific rubrics and deterministic guardrails for severe semantic failures. We report render-success diagnostics that separate code execution failures from reconstruction quality. Human validation shows that this evaluation protocol aligns better with human judgments than either a generic visual rubric or embedding-similarity baselines. Across nine open-weight and proprietary models, we find that image-to-code performance is domain-dependent: leading models perform well on regular chart- and graph-like visuals but remain weak on spatial scenes, chemistry, documents, and circuit-style diagrams. Finally, we show that evaluator-filtered model outputs can serve as training data to improve image-to-code capability, with Qwen3.5-9B improving from 1.60 to 1.86 on the benchmark without paired source programs. Vision2Code provides a reproducible testbed for measuring, diagnosing, and improving image-to-code generation. Our code and data are publicly available at https://image2code.github.io/vision2code/.
• Abstract（参考訳）: 視覚言語モデル(VLM)が実行可能なコードとして表現するのに十分な画像構造を回復できるかどうかを画像からコード生成で検証する。 既存のベンチマークでは、狭いビジュアルドメインにフォーカスするか、ペア化された実行可能参照コードに依存しているか、ドメイン固有の再構築エラーを見逃す一般的なルーリックに依存している。 マルチドメイン画像・コード生成のための参照不要なベンチマークおよび評価フレームワークであるVision2Codeを紹介する。 Vision2Codeには、チャートやプロット、幾何学、グラフ、科学画像、ドキュメント、三次元空間シーンにまたがる15のソースデータセットから2,169のサンプルが含まれている。 モデルが生成する実行可能プログラムは、データセット固有のルーリックを持つVLMレーダと、重大な意味障害に対する決定論的ガードレールを用いて、ソースイメージに対してレンダリングし、スコアする。 コード実行障害を再構築品質から分離するレンダス診断を報告する。 人間の検証により,この評価プロトコルは,汎用的な視覚ルーブリックや埋め込み類似性ベースラインよりも,人間の判断によく適合していることが示された。 9つのオープンウェイトおよびプロプライエタリなモデルにおいて、画像とコードのパフォーマンスはドメインに依存している。 最後に,Qwen3.5-9Bをベンチマークで1.60から1.86に改善した。 Vision2Codeは、画像からコードへの生成を計測、診断、改善するための再現可能なテストベッドを提供する。 私たちのコードとデータはhttps://image2code.github.io/vision2code/で公開されています。

関連論文リスト

• Visual-ERM: Reward Modeling for Visual Equivalence [59.317480168347664]
  Visual Equivalence Reward Model (Visual-ERM)は、細粒度、解釈可能、タスクに依存しないフィードバックを提供するマルチモーダル生成報酬モデルである。 Visual-ERM は Qwen3-VL-8B-Instruct を 8.4 で改善し、テーブルとSVGのパースで一貫したゲインを得る。 VisualCritic-RewardBench(VC-RewardBench)は、構造化された視覚データに対して微細な画像と画像の相違を判定するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-03-13T17:58:14Z)
• Multimodal OCR: Parse Anything from Documents [72.69545534962234]
  dots.mocrは、チャート、ダイアグラム、テーブル、アイコンなどのビジュアル要素を第一級解析ターゲットとして扱う。 テキストとグラフィックの両方を構造化出力として再構築し、より忠実なドキュメント再構築を可能にする。 不均一なドキュメント要素に対するエンドツーエンドのトレーニングをサポートする。
  論文  参考訳（メタデータ） (2026-03-13T14:42:21Z)
• VisCoder: Fine-Tuning LLMs for Executable Python Visualization Code Generation [69.35779796364413]
  提案するVisCode-200Kは,Pythonによる可視化と自己補正のための大規模インストラクションチューニングデータセットである。 1)オープンソースリポジトリからの検証済みプロットコードと自然言語命令と描画プロットのペア,(2)Code-Feedbackからの45Kのマルチターン補正ダイアログ。
  論文  参考訳（メタデータ） (2025-06-04T13:24:44Z)
• Transformer-based Image Generation from Scene Graphs [11.443097632746763]
  グラフ構造化シーン記述は、生成した画像の合成を制御するために、生成モデルで効率的に使用することができる。 従来のアプローチは、グラフ畳み込みネットワークと、レイアウト予測と画像生成のための逆法の組み合わせに基づいている。 グラフ情報の符号化にマルチヘッドアテンションを用いることにより,サンプルデータの品質が向上することを示す。
  論文  参考訳（メタデータ） (2023-03-08T14:54:51Z)
• Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
  検索用テキスト・ツー・イメージ・ジェネレータ(再画像) 検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
  論文  参考訳（メタデータ） (2022-09-29T00:57:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。