論文の概要: HakushoBench: A Japanese Chart and Table VQA Benchmark from Governmental White Papers

• arxiv url: http://arxiv.org/abs/2606.01132v1
• Date: Sun, 31 May 2026 10:06:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.270247
• Title: HakushoBench: A Japanese Chart and Table VQA Benchmark from Governmental White Papers
• Title（参考訳）: HakushoBench: 政府のホワイトペーパーによる日本のチャートと表表VQAベンチマーク
• Authors: Issa Sugiura, Shuhei Kurita, Yusuke Oda, Naoaki Okazaki,
• Abstract要約: 重要な障害は、現実的で多様な非英語のチャートとテーブルイメージを大規模に収集することの難しさである。 政府のホワイトペーパーを、英語以外のベンチマーク構築のためのスケーラブルなソースとして活用しています。 最初のインスタンス化として、33の政府用ホワイトペーパーから構築された挑戦的な日本のチャートとテーブルVQAベンチマークであるHakushoBenchを紹介する。
• 参考スコア（独自算出の注目度）: 24.862480903605444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding chart and table images is essential for applying vision-language models (VLMs) to real-world document understanding. While English benchmarks have advanced rapidly, non-English counterparts remain scarce, leaving it unclear whether this progress generalizes across languages. A key obstacle is the difficulty of collecting realistic and diverse non-English chart and table images at scale. To address this, we leverage governmental white papers as a scalable source for benchmark construction beyond English, as they contain naturally occurring charts and tables across diverse formats and domains and are freely accessible in many countries. As a first instantiation, we introduce HakushoBench, a challenging Japanese chart and table VQA benchmark built from 33 governmental white papers. HakushoBench contains 2,053 images spanning over 10 image types, with manually annotated QA pairs, designed to assess deep and holistic understanding of charts and tables, rather than local visual cues alone. Experiments across a broad range of VLMs demonstrate that HakushoBench remains challenging for open-weight models: the best open-weight model achieves only 58.6% accuracy, and a 34.9-point gap between open-weight and proprietary models highlights substantial room for improvement in complex chart and table understanding. We release our dataset and code.
• Abstract（参考訳）: 実世界の文書理解に視覚言語モデル(VLM)を適用するためには,図表や表画像の理解が不可欠である。 英語のベンチマークは急速に進んでいるが、英語以外のベンチマークは乏しいままであり、この進歩が言語全体にわたって一般化されるかどうかは不明である。 重要な障害は、現実的で多様な非英語のチャートとテーブルイメージを大規模に収集することの難しさである。 この問題を解決するために、政府のホワイトペーパーを英語以外のベンチマーク構築のためのスケーラブルなソースとして活用し、様々なフォーマットやドメインにまたがって自然に出現するチャートやテーブルを包含し、多くの国で自由に利用できるようにしています。 最初のインスタンス化として、33の政府用ホワイトペーパーから構築された挑戦的な日本のチャートとテーブルVQAベンチマークであるHakushoBenchを紹介する。 HakushoBenchには、10以上のイメージタイプにまたがる2,053のイメージが含まれており、手動で注釈付きQAペアは、ローカルなビジュアルキューのみではなく、チャートとテーブルの深い全体的理解を評価するように設計されている。 ベストなオープンウェイトモデルは58.6%の精度しか達成せず、オープンウェイトとプロプライエタリなモデルの34.9ポイントの差は、複雑なチャートとテーブル理解の改善のためのかなりの余地を浮き彫りにしている。 データセットとコードをリリースします。

関連論文リスト

• ChartArena: Benchmarking Chart Parsing across Languages, Scenarios, and Formats [31.5696204376104]
  数値チャートと図形構造の両方にまたがる8つのチャートファミリをカバーする総合ベンチマークであるChartArenaを紹介する。 データセットは、アノテーションの信頼性を保証するために、マルチステージのヒューマン検証を備えたヒューマンエージェントアノテーションパイプラインを介して構築される。 i) Gemini 3.1 Proのようなフロンティアモデルが全体としてリードしているが、最も強力なオープンソースシステムは急速にギャップを埋めている。
  論文  参考訳（メタデータ） (2026-05-31T17:00:17Z)
• INDOTABVQA: A Benchmark for Cross-Lingual Table Understanding in Bahasa Indonesia Documents [1.9881456274482427]
  INDOTABVQAは、バハサ・インドネシアの実際の文書画像に対して、言語横断的な表視覚質問回答(VQA)を評価するためのベンチマークである。 データセットは、3つの視覚的なスタイルで1,593のドキュメントイメージと4つの言語で1,593の質問回答セットで構成されている。 我々のデータセット上でコンパクトな3BとLoRAの7Bモデルを微調整すると、精度は11.6%と17.8%向上する。
  論文  参考訳（メタデータ） (2026-04-13T19:03:10Z)
• POLYCHARTQA: Benchmarking Large Vision-Language Models with Multilingual Chart Question Answering [69.52231076699756]
  PolyChartQAは10の言語で22,606のチャートと26,151の質問応答ペアをカバーする最初の大規模多言語チャート回答ベンチマークである。 我々は、最先端のLLMベースの翻訳を活用し、パイプラインにおける厳密な品質制御を適用し、生成された多言語チャートの言語的および意味的一貫性を確保する。
  論文  参考訳（メタデータ） (2025-07-16T06:09:02Z)
• On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
  本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。 詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
  論文  参考訳（メタデータ） (2024-07-19T17:58:36Z)
• CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs [62.84082370758761]
  CharXivは、arXiv論文の2,323のチャートを含む総合的な評価スイートである。 品質を確保するために、すべてのチャートと質問は、人間の専門家によって手書きされ、キュレーションされ、検証されます。 その結果、最強のプロプライエタリモデルの推論スキルの間に、かなり過小評価されていたギャップが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-26T17:50:11Z)
• ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning [55.22996841790139]
  我々は、チャート領域における既製のマルチモーダル言語モデル(MLLM)の能力をベンチマークする。 ChartXは18種類のチャートタイプ,7つのチャートタスク,22のディシプリナトピック,高品質なチャートデータを含むマルチモーダルな評価セットである。 我々は、解釈可能なパターンに強く依存するマルチモーダルタスクに対する新しい視点を提供するため、ChartVLMを開発した。
  論文  参考訳（メタデータ） (2024-02-19T14:48:23Z)
• ChartBench: A Benchmark for Complex Visual Reasoning in Charts [36.492851648081405]
  MLLM(Multimodal Large Language Models)は画像の理解と生成に優れた能力を示している。 現在のベンチマークでは、限定的なチャートタイプと不適切なメトリクスのため、MLLMのチャート理解を正確に評価することができない。 複雑な視覚的推論によってチャートの理解とデータの信頼性を評価するための総合的なベンチマークであるChartBenchを提案する。
  論文  参考訳（メタデータ） (2023-12-26T07:20:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。