論文の概要: From Pixel to Coding: Evaluating the Figure Reproduction Capabilities of MLLMs

• arxiv url: http://arxiv.org/abs/2610.10066v1
• Date: Wed, 07 Oct 2026 13:33:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.937661
• Title: From Pixel to Coding: Evaluating the Figure Reproduction Capabilities of MLLMs
• Title（参考訳）: Pixelからコーディングへ:MLLMの図再現能力を評価する
• Abstract要約: FigCodeBenchは、図形再現におけるマルチモーダル大言語モデル(MLLM)の評価、多モーダル理解と生成の統合のための包括的なフレームワークである。 視覚的忠実度と統語的同型を包含する多次元評価宣言プロトコルを導入し,平均機械オピニオンスコア(MMOS)や人間の嗜好と高い整合性を示す。
• 参考スコア（独自算出の注目度）: 48.18189005580495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have demonstrated impressive capabilities in both visual understanding and code generation. However, existing benchmarks typically evaluate these two modalities in isolation, lacking a dedicated assessment of their unification, i.e., how a model can perceive complex visual structures and synthesize them into precise, executable code. Moreover, current visual code generation benchmarks often rely on simplified layouts within single programming environments, falling short of evaluating true unified multimodal reasoning. To bridge this gap, we propose FigCodeBench, a comprehensive framework for rigorously evaluating MLLMs on figure reproduction, integrating multimodal comprehension and generation. We first design a systematic dataset construction pipeline, resulting in a total of 6,194 instances that cover 7 functional categories and 4 types of programming languages. We further categorize figure reproduction into three tiers with visual and code complexity modeling, specifically targeting complex structural reasoning, varying aspect ratios, and dense geometric constraints. We introduce a multi-dimensional evaluation protocol, encompassing visual fidelity and syntactic isomorphism, that aligns highly with the Mean Machine Opinion Score (MMOS) and human preferences. Based on our framework, we conducted extensive experiments on 24 widely used proprietary and open-source MLLMs (e.g., Gemini 3.1 Pro, GPT-5.4, and Kimi-K2.5), where we observed a universal, non-linear performance cliff across different programming languages and difficulty scenarios for all models, and gained several insights, such as the significant metric decline in rigid declarative languages.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、視覚的理解とコード生成の両方において、優れた機能を示している。 しかし、既存のベンチマークでは、これらの2つのモダリティを独立して評価し、モデルが複雑な視覚構造をどう認識し、それらを正確に実行可能なコードに合成するかという、統一性に関する専用の評価を欠いている。 さらに、現在のビジュアルコード生成ベンチマークは、単一のプログラミング環境における単純化されたレイアウトに依存しており、真の統合マルチモーダル推論を評価するには足りていない。 このギャップを埋めるため,フィグコードベンチ(FigCodeBench)を提案する。 まず、体系的なデータセット構築パイプラインを設計し、7つの機能カテゴリと4種類のプログラミング言語をカバーする合計6,194のインスタンスを作成しました。 さらに、複雑な構造的推論、異なるアスペクト比、密度幾何学的制約を対象とする、視覚的およびコードの複雑さモデリングを伴う3つの階層に分類する。 視覚的忠実度と統語的同型を包含する多次元評価プロトコルを導入し,平均機械オピニオンスコア(MMOS)や人間の嗜好と高い整合性を示す。 フレームワークに基づいて,広く使用されている24のプロプライエタリかつオープンソースのMLLM(例:Gemini 3.1 Pro, GPT-5.4, Kimi-K2.5)について広範な実験を行った。

関連論文リスト

• PENDULUM: A Benchmark for Assessing Sycophancy in Multimodal Large Language Models [43.767942065379366]
  サイコファシー(英: Sycophancy)は、AIモデルが実際の正確さや視覚的証拠の矛盾を犠牲にしてユーザー入力に同意する傾向である。 約2000組の視覚質問応答対からなる総合評価ベンチマーク「textitPENDULUM」を導入する。 本研究は, モデルロバスト性およびサイコファンおよび幻覚行動に対する感受性の顕著な変動を観察する。
  論文  参考訳（メタデータ） (2025-12-22T12:49:12Z)
• Cross-Task Benchmarking and Evaluation of General-Purpose and Code-Specific Large Language Models [3.603673783661375]
  大規模言語モデル(LLM)は、一般的な自然言語処理と、コード合成、法的推論、財務といったドメイン固有のアプリケーションの両方に革命をもたらした。 そこで本研究では,6つのベンチマークで5つの汎用および3つのコード固有LLMの総合評価を行った。 コードに最適化されたモデル(例えば、CodeLLaMAの変種)は強力な推論と構文的精度を示し、非コーディングタスクでも測定可能な性能向上を示す。
  論文  参考訳（メタデータ） (2025-12-04T11:06:33Z)
• Correlation Dimension of Auto-Regressive Large Language Models [11.183390901786659]
  大規模言語モデル(LLM)は、自然言語生成において顕著な進歩を遂げた。 彼らは、低難易度を示すときでさえ、繰り返しや不整合のようなファジィな行動を示し続けている。 本稿では,テキストの複雑さを定量化するために,自己相似性のフラクタル幾何学的尺度である相関次元を導入する。
  論文  参考訳（メタデータ） (2025-10-24T08:42:23Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)
• MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria [49.500322937449326]
  MLLM(Multimodal large language model)は、AIアプリケーションの範囲を広げている。 既存のMLLMの自動評価手法は主にユーザエクスペリエンスを考慮せずにクエリを評価する場合に限られている。 本稿では,MLLM を判断基準として評価する MLLM の新しい評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:04:25Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [98.18244218156492]
  大規模言語モデル(LLM)は、非常に高度な自然言語処理を持つ。 アプリケーションがマルチエージェント環境に拡大するにつれて、包括的な評価フレームワークの必要性が生じる。 この研究は、マルチエージェント設定内でLLMを評価するための新しい競合ベースのベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• ChEF: A Comprehensive Evaluation Framework for Standardized Assessment of Multimodal Large Language Models [49.48109472893714]
  MLLM(Multimodal Large Language Models)は、視覚コンテンツと無数の下流タスクとを相互作用する優れた能力を示す。 本稿では,各MLLMを全体プロファイルし,異なるMLLMを比較した最初の総合評価フレームワーク(ChEF)を提案する。 詳細な実装をすべて公開して、さらなる分析と、新しいレシピやモデルを統合するための使い易いモジュラーツールキットを提供します。
  論文  参考訳（メタデータ） (2023-11-05T16:01:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。