論文の概要: ChartAnno: Evaluating MLLMs for Chart Annotation Generation

• arxiv url: http://arxiv.org/abs/2608.03464v1
• Date: Tue, 04 Aug 2026 11:01:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.148757
• Title: ChartAnno: Evaluating MLLMs for Chart Annotation Generation
• Title（参考訳）: ChartAnno: チャートアノテーション生成のためのMLLMの評価
• Authors: Zhenghan Chen, Zekai Shao, Lidan Tan, Xin Lin, Xingchen Zeng, Yi Shan, Ziyue Lin, Xiaoliang Fu, Xinyuan Liu, Yuetong Guo, Fen Wang, Bongshin Lee, Siming Chen,
• Abstract要約: チャートアノテーション生成におけるMLLMの評価ベンチマークであるChartAnnoを紹介する。 1200の現実世界のチャートと、ペアコードとアノテーションの命令が3つのレベルの命令に比例している。 結果として、プロプライエタリなモデルは全体として強く保たれているが、大規模なオープンソースモデルはギャップを狭めている。
• 参考スコア（独自算出の注目度）: 32.95031991526117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have made significant progress in chart understanding, generation, and editing, but their ability to annotate existing charts remains underexplored. Annotating charts is a common yet challenging communicative task, requiring models to infer intended messages, interpret chart semantics, and place appropriate textual or graphical elements. To address this gap, we introduce ChartAnno, a benchmark for evaluating MLLMs on chart annotation generation. It contains 1,200 real-world charts with paired code and annotation instructions across three levels of instruction specificity. We evaluate 10 representative MLLMs under two primary input settings: (1) chart code alone and (2) both chart code and chart image, and further include a chart image-only ablation study. Results show that proprietary models remain stronger overall, although large-scale open-source models narrow the gap. More specific instructions improve annotation quality, while inferring abstract intent remains most difficult for current MLLMs. Providing chart images brings limited overall gains, with improvements mainly appearing in design-related metrics. These findings highlight chart annotation generation as a challenging task requiring semantic grounding and effective annotation design. Code and data will be released in a future version.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)は、チャート理解、生成、編集において大きな進歩を遂げてきたが、既存のチャートに注釈を付ける能力はまだ未熟である。 チャートの注釈付けは、意図したメッセージを推論し、チャートのセマンティクスを解釈し、適切なテキストまたはグラフィカル要素を配置するモデルを必要とする、一般的なが困難なコミュニケーションタスクである。 このギャップに対処するために、チャートアノテーション生成上でMLLMを評価するベンチマークであるChartAnnoを紹介する。 1200の現実世界のチャートと、ペアコードとアノテーションの命令が3つのレベルの命令に比例している。 1) チャートコードのみと(2) チャートコードとチャートイメージの両方の2つの一次入力条件下で10個の代表MLLMを評価し、さらにグラフ画像のみのアブレーション研究を含む。 結果として、プロプライエタリなモデルは全体として強く保たれているが、大規模なオープンソースモデルはギャップを狭めている。 より具体的な指示により、アノテーションの品質が向上する一方、抽象的な意図を推論することは、現在のMLLMにとって最も難しい。 チャート画像の提供は、デザイン関連の指標を中心にして、全体的な利益が制限される。 これらの知見は,意味的接地と効果的なアノテーション設計を必要とする課題として,チャートのアノテーション生成に注目した。 コードとデータは将来のバージョンでリリースされる。

関連論文リスト

• START: Spatial and Textual Learning for Chart Understanding [11.769123092079203]
  chART理解のための空間的およびテクスチャ的学習であるSTARTを提案する。 i) チャート要素のグラウンド化と (ii) チャートからコードへの生成を導入し, チャートの視覚的レイアウトとデータ詳細に関するMLLMの理解を深める。 コード、データ、モデルは公開されます。
  論文  参考訳（メタデータ） (2025-12-08T05:43:14Z)
• ChartPoint: Guiding MLLMs with Grounding Reflection for Chart Reasoning [54.86473583610112]
  グラフの連鎖推論に反射的相互作用を統合するPointCoTを提案する。 位置アノテーションに基づいてMLLMにバウンディングボックスと再レンダリングチャートを生成することで、テキスト推論ステップと視覚的接地領域の接続を確立する。 我々は、いくつかのグラフベンチマークにおいて最先端のモデルであるChartPointQ2とChartPointQ2.5を開発した。
  論文  参考訳（メタデータ） (2025-11-29T04:01:55Z)
• ChartLens: Fine-grained Visual Attribution in Charts [106.44872805609673]
  Post-Hoc Visual Attribution for Chartsは、所定のチャート関連応答を検証する詳細なチャート要素を特定する。 グラフオブジェクトの識別にセグメンテーションに基づく手法を用いた新しいチャート属性アルゴリズムであるChartLensを提案する。 評価の結果,ChartLensの微粒化属性は26-66%向上した。
  論文  参考訳（メタデータ） (2025-05-25T23:17:32Z)
• On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
  本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。 詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
  論文  参考訳（メタデータ） (2024-07-19T17:58:36Z)
• TinyChart: Efficient Chart Understanding with Visual Token Merging and Program-of-Thoughts Learning [83.58521787193293]
  本稿では,3Bパラメータのみを用いたチャート理解のための効率的なMLLMであるTinyChartを提案する。 TinyChartは,1)プログラム・オブ・ソート(PoT)学習戦略による数値計算学習の負担軽減,2)ビジョン・トーケン・マージ・モジュールによる高解像度画像のためのビジョン・トランスフォーマーによって生成される長大な視覚特徴系列の削減という,効率的なチャート理解における2つの課題を克服した。
  論文  参考訳（メタデータ） (2024-04-25T14:23:24Z)
• ChartBench: A Benchmark for Complex Visual Reasoning in Charts [36.492851648081405]
  MLLM(Multimodal Large Language Models)は画像の理解と生成に優れた能力を示している。 現在のベンチマークでは、限定的なチャートタイプと不適切なメトリクスのため、MLLMのチャート理解を正確に評価することができない。 複雑な視覚的推論によってチャートの理解とデータの信頼性を評価するための総合的なベンチマークであるChartBenchを提案する。
  論文  参考訳（メタデータ） (2023-12-26T07:20:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。