論文の概要: ChartJudgeBench: Evaluating LMM Judges for Chart-to-Code Generation

• arxiv url: http://arxiv.org/abs/2609.24210v1
• Date: Mon, 21 Sep 2026 07:29:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.181974
• Title: ChartJudgeBench: Evaluating LMM Judges for Chart-to-Code Generation
• Title（参考訳）: ChartJudgeBench: チャート・ツー・コード生成のためのLMM審査員の評価
• Abstract要約: 大規模マルチモーダルモデル(LMM)は、チャートの視覚的外観とタスク要求を共同で評価する上で、自然な役割を担っている。 視覚的批評家や報酬モデルとしての利用が増えているが、審査員としての信頼性はほとんど解明されていない。 本稿では,チャート・ツー・コード最適化におけるLMM判定結果を評価するための診断ビジョンベンチマークであるChartJudgeBenchを紹介する。
• 参考スコア（独自算出の注目度）: 16.09978008387138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building strong chart-to-code systems increasingly relies on reinforcement learning, whose effectiveness depends critically on the quality of the reward signal. Large Multimodal Models (LMMs) play a natural critical role in jointly assessing chart visual appearance and task requirements. They are therefore increasingly used as visual critics and reward models, yet their reliability as judges remains largely unexplored. To this end, we introduce ChartJudgeBench, a diagnostic vision-language benchmark for assessing LMM judges in chart-to-code workflows. It includes 1,003 Chart Perception Alignment (CPA) instances for pairwise chart comparison and 650 Chart Reasoning Judgment (CRJ) instances for binary Accept/Reject verification in Chart Reproduction and Chart Editing. Together, these tasks emulate the core judging decisions required in agentic refinement and RL-based chart optimization. Our evaluation of strong LMMs reveals four systematic limitations: (i) positional bias in pairwise comparison, (ii) a strong tendency to overpredict Accept, (iii) difficulty in matching visual styles and aesthetics, and (iv) an unexpected leniency bias in RL-trained models. These findings show that current LMM judges require explicit reliability validation before being used as critics or reward models in chart-to-code optimization. The code and data are available on ChartJudgeBench.
• Abstract（参考訳）: 強力なチャート・ツー・コードシステムの構築は、報酬信号の品質に大きく依存する強化学習にますます依存している。 大規模マルチモーダルモデル(LMM)は、チャートの視覚的外観とタスク要求を共同で評価する上で、自然な役割を担っている。 そのため、視覚的批評家や報酬モデルとしての利用が増えているが、審査員としての信頼性はほとんど解明されていない。 この目的のために我々はChartJudgeBenchを紹介した。これはチャート・トゥ・コード・ワークフローにおけるLMM審査員の評価のための診断ビジョンベンチマークである。 これには、ペアチャート比較のための1,003 Chart Perception Alignment (CPA)インスタンスと、チャート再現およびチャート編集におけるバイナリアクセプション/リジェクト検証のための650 Chart Reasoning Judgment (CRJ)インスタンスが含まれる。 これらのタスクはエージェント改良とRLベースのチャート最適化に必要な中核的な決定をエミュレートする。 強いLMMの評価では,4つの体系的限界が明らかになった。 一 対比較における位置バイアス (二)アクセプションを過大評価する強い傾向 三 視覚様式及び美学の整合が困難であること、 (4)RL学習モデルにおける予期せぬ冗長バイアス。 これらの結果から,現在のLMM審査員は,チャート・ツー・コード最適化において,批評家や報酬モデルとして使用される前に,明確な信頼性検証が必要であることが示唆された。 コードとデータはChartJudgeBenchで入手できる。

関連論文リスト

• Monitorable Chart Reasoning Agents via Verifiable Process Rewards [37.70404236777598]
  既存のLVLMベースのチャートエージェントは、答えのみの予測か、検証が難しい自由形式の有理性を生成する。 本稿では,監視可能なチャートエージェントを検証可能なプロセス報酬でトレーニングするための強化強化であるChart-RVRを提案する。 ドメイン外の6つのベンチマークで、Chart-RVRは同等サイズのLVLMの中で最先端の精度を実現している。
  論文  参考訳（メタデータ） (2026-09-21T03:53:20Z)
• REChart: Reasoning-Efficient Chart Editing with Large Reasoning Models [6.014442477518621]
  中間的推論ステップに対するプロセスレベルの監視を提供する2段階のトレーニングフレームワークであるREChartを紹介します。 まず,大規模な画像インストラクションコードプールから200kの高品質推論軌道を合成し,教師付き微調整を行う。 第二に、コード正当性、視覚的忠実性、構造的整合性を評価し、各ロールアウトにランダムな思考予算を割り当てる即効性報酬という2つの相補的な報酬を用いて、強化学習によるモデルを最適化する。
  論文  参考訳（メタデータ） (2026-08-18T06:26:45Z)
• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• Deploying Tiny LVLM Judges for Real-World Evaluation of Chart Models: Lessons Learned and Best Practices [43.58820960865236]
  7Bパラメータしか持たないLVLM(Large Vision-Language Models)は、チャート理解タスクにおける自動判断として有望であることを示している。 i) 評価基準を1つのクエリにまとめるマルチ基準プロンプトと(ii) ドメイン適応トランスファーラーニングの2つのアプローチを提案し、チャートデータセットの合成判断に2B-パラメータLVLMを微調整してChartJudgeを作成する。
  論文  参考訳（メタデータ） (2025-10-08T21:02:19Z)
• BigCharts-R1: Enhanced Chart Reasoning with Visual Reinforcement Finetuning [51.472854950300416]
  視覚的に多様なチャート画像を生成するデータセット生成パイプラインであるBigChartsを提案する。 純粋な合成データセットとは異なり、BigChartsは現実世界のデータを取り込んで、信頼性と視覚的多様性を保証する。 チャート推論に特化して設計された新たな報酬信号を導入することにより,モデルの堅牢性と一般化が促進される。
  論文  参考訳（メタデータ） (2025-08-13T13:39:17Z)
• Towards Understanding Graphical Perception in Large Multimodal Models [80.44471730672801]
  我々は,グラフにおけるLMMの知覚能力のギャップを分析するための評価フレームワークを開発するために,グラフィカル知覚の理論を利用する。 我々は3つのレベル(チャート、ビジュアル要素、ピクセル)における最先端LMMの知覚能力の評価と診断にフレームワークを適用した。
  論文  参考訳（メタデータ） (2025-03-13T20:13:39Z)
• Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。 既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。 本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T04:50:43Z)
• On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
  本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。 詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
  論文  参考訳（メタデータ） (2024-07-19T17:58:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。