論文の概要: TabPedia: Towards Comprehensive Visual Table Understanding with Concept Synergy
- arxiv url: http://arxiv.org/abs/2406.01326v2
- Date: Fri, 11 Oct 2024 14:38:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-14 13:28:25.718898
- Title: TabPedia: Towards Comprehensive Visual Table Understanding with Concept Synergy
- Title（参考訳）: TabPedia: 概念シナジーによる総合的なビジュアルテーブル理解を目指して
- Authors: Weichao Zhao, Hao Feng, Qi Liu, Jingqun Tang, Shu Wei, Binghong Wu, Lei Liao, Yongjie Ye, Hao Liu, Wengang Zhou, Houqiang Li, Can Huang,
- Abstract要約: 本稿では,概念相乗効果機構を備えた新しい大型視触覚モデルTabPediaを提案する。
この統合されたフレームワークにより、TabPediaはテーブル検出、テーブル構造認識、テーブルクエリ、テーブル質問応答などのVTUタスクをシームレスに統合できる。
実世界のシナリオにおけるVTUタスクをよりよく評価するために、新しい総合的なテーブルVQAベンチマークComTQAを構築した。
- 参考スコア（独自算出の注目度）: 81.76462101465354
- License:
- Abstract: Tables contain factual and quantitative data accompanied by various structures and contents that pose challenges for machine comprehension. Previous methods generally design task-specific architectures and objectives for individual tasks, resulting in modal isolation and intricate workflows. In this paper, we present a novel large vision-language model, TabPedia, equipped with a concept synergy mechanism. In this mechanism, all the involved diverse visual table understanding (VTU) tasks and multi-source visual embeddings are abstracted as concepts. This unified framework allows TabPedia to seamlessly integrate VTU tasks, such as table detection, table structure recognition, table querying, and table question answering, by leveraging the capabilities of large language models (LLMs). Moreover, the concept synergy mechanism enables table perception-related and comprehension-related tasks to work in harmony, as they can effectively leverage the needed clues from the corresponding source perception embeddings. Furthermore, to better evaluate the VTU task in real-world scenarios, we establish a new and comprehensive table VQA benchmark, ComTQA, featuring approximately 9,000 QA pairs. Extensive quantitative and qualitative experiments on both table perception and comprehension tasks, conducted across various public benchmarks, validate the effectiveness of our TabPedia. The superior performance further confirms the feasibility of using LLMs for understanding visual tables when all concepts work in synergy. The benchmark ComTQA has been open-sourced at https://huggingface.co/datasets/ByteDance/ComTQA. The source code and model also have been released athttps://github.com/zhaowc-ustc/TabPedia.
- Abstract（参考訳）: 表には、機械の理解に挑戦する様々な構造や内容を伴う実データと定量的データが含まれている。
従来の手法は一般にタスク固有のアーキテクチャと個々のタスクの目的を設計し、結果としてモーダルな分離と複雑なワークフローをもたらす。
本稿では,概念シナジー機構を備えた新しい視覚言語モデルTabPediaを提案する。
このメカニズムでは、様々な視覚テーブル理解(VTU)タスクとマルチソース視覚埋め込みを概念として抽象化する。
この統合フレームワークは、大規模な言語モデル(LLM)の機能を活用することで、テーブル検出、テーブル構造認識、テーブルクエリ、テーブル質問応答などのVTUタスクをシームレスに統合することを可能にする。
さらに、この概念のシナジー機構により、テーブル認識関連および理解関連タスクが調和して機能し、対応するソース認識埋め込みから必要な手がかりを効果的に活用することができる。
さらに、実世界のシナリオにおけるVTUタスクをよりよく評価するために、約9000のQAペアを備えた新しい総合的なテーブルVQAベンチマークComTQAを構築した。
表認識と理解タスクの両面において,多種多岐にわたる定量的,質的な実験を行い,TabPediaの有効性を検証した。
優れた性能は、全ての概念がシナジーで動くとき、視覚テーブルを理解するためにLLMを使うことの可能性をさらに確認する。
ComTQAベンチマークはhttps://huggingface.co/datasets/ByteDance/ComTQAでオープンソース化された。
ソースコードとモデルはhttps://github.com/zhaowc-ustc/TabPediaでも公開されている。
関連論文リスト
- Knowledge-Aware Reasoning over Multimodal Semi-structured Tables [85.24395216111462]
本研究では、現在のAIモデルがマルチモーダルな構造化データに基づいて知識を考慮した推論を行うことができるかどうかを検討する。
この目的のために設計された新しいデータセットであるMMTabQAを紹介する。
我々の実験は、複数のテキストと画像の入力を効果的に統合し解釈する上で、現在のAIモデルに対する重大な課題を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-08-25T15:17:43Z) - QFMTS: Generating Query-Focused Summaries over Multi-Table Inputs [63.98556480088152]
表要約は、情報を簡潔で分かりやすいテキスト要約に凝縮するための重要な課題である。
本稿では,クエリ中心のマルチテーブル要約を導入することで,これらの制約に対処する新しい手法を提案する。
提案手法は,テーブルシリアライズモジュール,要約コントローラ,および大規模言語モデルからなり,ユーザの情報要求に合わせたクエリ依存のテーブル要約を生成する。
論文 参考訳（メタデータ） (2024-05-08T15:05:55Z) - Large Language Model for Table Processing: A Survey [18.32332372134988]
本調査では,テーブル関連タスクの概要について概観する。
テーブル質問応答やスプレッドシート操作やテーブルデータ分析といった新しいフィールドなど、従来のタスクをカバーしています。
論文 参考訳（メタデータ） (2024-02-04T00:47:53Z) - TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。
1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
論文 参考訳（メタデータ） (2023-12-14T15:37:04Z) - MultiTabQA: Generating Tabular Answers for Multi-Table Question
Answering [61.48881995121938]
実世界のクエリは本質的に複雑で、リレーショナルデータベースやWebページ内の複数のテーブルにまたがることが多い。
我々のモデルであるMultiTabQAは、複数のテーブル上の質問に答えるだけでなく、表形式の回答を生成するために一般化する。
論文 参考訳（メタデータ） (2023-05-22T08:25:15Z) - ReasTAP: Injecting Table Reasoning Skills During Pre-training via
Synthetic Reasoning Examples [15.212332890570869]
複雑なテーブル固有のアーキテクチャ設計を必要とせずに、事前学習中に高レベルのテーブル推論スキルをモデルに注入できることを示すためにReasTAPを開発した。
ReasTAPはすべてのベンチマークで最新のパフォーマンスを実現し、低リソース設定で大幅に改善されている。
論文 参考訳（メタデータ） (2022-10-22T07:04:02Z) - OmniTab: Pretraining with Natural and Synthetic Data for Few-shot
Table-based Question Answering [106.73213656603453]
最小限のアノテーションによるテーブルベースのQAモデルを構築した。
本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
論文 参考訳（メタデータ） (2022-07-08T01:23:45Z) - Table Pre-training: A Survey on Model Architectures, Pretraining
Objectives, and Downstream Tasks [37.35651138851127]
テキストや画像の成功を受けて、テーブル事前学習フレームワークの急激な普及が提案されている。
テーブル事前トレーニングは通常、テーブル-テキスト共同トレーニングの形式を取る。
この調査は、さまざまなモデル設計、事前学習目標、およびテーブル事前学習のための下流タスクの包括的なレビューを提供することを目的としている。
論文 参考訳（メタデータ） (2022-01-24T15:22:24Z) - TURL: Table Understanding through Representation Learning [29.6016859927782]
TURLは、リレーショナルWebテーブルに事前トレーニング/ファインタニングパラダイムを導入する新しいフレームワークである。
事前学習中、我々のフレームワークは教師なしの方法で関係表上の深い文脈化された表現を学習する。
我々は,TURLがすべてのタスクを一般化し,既存のメソッドをほぼすべてのインスタンスで大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2020-06-26T05:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。