論文の概要: RealHiTBench: A Comprehensive Realistic Hierarchical Table Benchmark for Evaluating LLM-Based Table Analysis

• arxiv url: http://arxiv.org/abs/2506.13405v1
• Date: Mon, 16 Jun 2025 12:19:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.306254
• Title: RealHiTBench: A Comprehensive Realistic Hierarchical Table Benchmark for Evaluating LLM-Based Table Analysis
• Title（参考訳）: RealHiTBench: LLMに基づくテーブル分析評価のための総合現実的階層テーブルベンチマーク
• Authors: Pengzuo Wu, Yuhang Yang, Guangcheng Zhu, Chao Ye, Hong Gu, Xu Lu, Ruixuan Xiao, Bowen Bao, Yijing He, Liangyu Zha, Wentao Ye, Junbo Zhao, Haobo Wang,
• Abstract要約: RealHiTBenchは、様々な入力フォーマットにわたるLarge Language Models (LLM)のパフォーマンスを評価するために設計されたベンチマークである。 LLMを25個使用した実験の結果,RealHiTBenchは本当に難しいベンチマークであることがわかった。 また、階層的なヘッダをツリー構造に整理するツリーベースのパイプラインであるTreeThinkerも開発しています。
• 参考スコア（独自算出の注目度）: 16.572608600078922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid advancement of Large Language Models (LLMs), there is an increasing need for challenging benchmarks to evaluate their capabilities in handling complex tabular data. However, existing benchmarks are either based on outdated data setups or focus solely on simple, flat table structures. In this paper, we introduce RealHiTBench, a comprehensive benchmark designed to evaluate the performance of both LLMs and Multimodal LLMs (MLLMs) across a variety of input formats for complex tabular data, including LaTeX, HTML, and PNG. RealHiTBench also includes a diverse collection of tables with intricate structures, spanning a wide range of task types. Our experimental results, using 25 state-of-the-art LLMs, demonstrate that RealHiTBench is indeed a challenging benchmark. Moreover, we also develop TreeThinker, a tree-based pipeline that organizes hierarchical headers into a tree structure for enhanced tabular reasoning, validating the importance of improving LLMs' perception of table hierarchies. We hope that our work will inspire further research on tabular data reasoning and the development of more robust models. The code and data are available at https://github.com/cspzyy/RealHiTBench.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩により、複雑な表データを扱う際の能力を評価する上で、挑戦的なベンチマークの必要性が高まっている。 しかし、既存のベンチマークは時代遅れのデータ設定に基づいているか、単純でフラットなテーブル構造のみに焦点を当てている。 本稿では,LaTeX,HTML,PNGなどの複雑な表データに対して,MLLMとMLLMの両方の性能を評価するための総合的なベンチマークであるRealHiTBenchを紹介する。 RealHiTBenchには、さまざまなタスクタイプにまたがる複雑な構造を持つテーブルのコレクションも含まれている。 LLMを25個使用した実験の結果,RealHiTBenchは本当に難しいベンチマークであることがわかった。 さらに,階層型ヘッダを木構造に整理し,テーブル階層に対するLLMの認識を改善することの重要性を検証したツリーベースパイプラインであるTreeThinkerを開発した。 私たちの研究が、表形式のデータ推論と、より堅牢なモデルの開発について、さらなる研究を促すことを期待しています。 コードとデータはhttps://github.com/cspzyy/RealHiTBench.comで公開されている。

関連論文リスト

• LLM-Symbolic Integration for Robust Temporal Tabular Reasoning [69.27153114778748]
  本研究では,システムおよび制御された評価のための合成データセットであるTempTabQA-Cを紹介する。 この構造化アプローチにより、LLM(Large Language Models)はsqlクエリの生成と実行を可能にし、一般化とバイアス軽減の強化を行う。
  論文  参考訳（メタデータ） (2025-06-06T05:14:04Z)
• Multimodal Tabular Reasoning with Privileged Structured Information [67.40011423365712]
  ブリッジインfOrmation (sc Turbo) を用いたタブウラー推論(TabUlar Reasoning)について紹介する。 sc TurboはDeepSeek-R1をベースにした構造対応の推論トレースジェネレータの恩恵を受ける。 sc Turboは、複数のデータセットで最先端のパフォーマンス(+7.2%対以前のSOTA)を達成する。
  論文  参考訳（メタデータ） (2025-06-04T15:46:30Z)
• NeedleInATable: Exploring Long-Context Capability of Large Language Models towards Long-Structured Tables [32.9031799179503]
  textscNeedleInATable (NIAT)は、各テーブルセルを針として扱い、セルの位置やルックアップ質問に基づいてターゲットセルを抽出するモデルを必要とする。 私たちのデータ、コード、モデルは、将来の研究を促進するためにリリースされます。
  論文  参考訳（メタデータ） (2025-04-09T03:46:56Z)
• Tree-of-Table: Unleashing the Power of LLMs for Enhanced Large-Scale Table Understanding [42.841205217768106]
  トレー・オブ・タブル(Tree-of-Table)は、LLMが大規模で複雑なテーブル上での推論能力を高めるために設計された新しいアプローチである。 Tree-of-Tableは優れた性能を持つ新しいベンチマークをセットし、大規模テーブル推論における顕著な効率性と一般化能力を示す。
  論文  参考訳（メタデータ） (2024-11-13T11:02:04Z)
• TableRAG: Million-Token Table Understanding with Language Models [53.039560091592215]
  TableRAG(TableRAG)は、LMベースのテーブル理解用に特別に設計された検索拡張生成(RAG)フレームワークである。 TableRAGは、スキーマとセル検索を組み合わせたクエリ拡張を活用して、LMにそれを提供する前に重要な情報をピンポイントする。 以上の結果から,TableRAGは検索精度が向上し,大規模テーブル理解における最先端性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T04:15:02Z)
• BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.936320820180875]
  大規模言語モデル(LLM)は、様々な領域でますます重要になっている。 BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。 BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2024-10-01T15:11:24Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study [44.39031420687302]
  大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。 LLMの構造的理解能力を評価するためのベンチマークを設計して,これを理解しようと試みる。 重要な値や範囲識別など,効率的な構造的プロンプトのための$textitself-augmentation$を提案する。
  論文  参考訳（メタデータ） (2023-05-22T14:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。