Fugu-MT 論文翻訳(概要): Benchmarking Table Comprehension In The Wild

論文の概要: Benchmarking Table Comprehension In The Wild

arxiv url: http://arxiv.org/abs/2412.09884v1
Date: Fri, 13 Dec 2024 05:52:37 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-16 15:37:48.857907
Title: Benchmarking Table Comprehension In The Wild
Title（参考訳）: ベンチマーク表が野生で理解される
Authors: Yikang Pan, Yi Zhu, Rand Xie, Yizhi Liu,
Abstract要約: TableQuestは、LLM(Large Language Models)の全体的なテーブル理解能力を評価するために設計された新しいベンチマークである。我々は7つの最先端モデルを用いて実験を行い、事実の特定に妥当な精度にもかかわらず、より洗練された推論や多段階の計算を行うために必要な場合には、しばしばフェールすることを示した。
参考スコア（独自算出の注目度）: 9.224698222634789
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs), while being increasingly dominant on a myriad of knowledge-intensive activities, have only had limited success understanding lengthy table-text mixtures, such as academic papers and financial reports. Recent advances of long-context LLMs have opened up new possibilities for this field. Nonetheless, we identify two roadblocks: (1) Prior benchmarks of table question answering (TableQA) have focused on isolated tables without context, making it hard to evaluate models in real-world scenarios. (2) Prior benchmarks have focused on some narrow skill sets of table comprehension such as table recognition, data manipulation/calculation, table summarization etc., while a skilled human employs those skills collectively. In this work, we introduce TableQuest, a new benchmark designed to evaluate the holistic table comprehension capabilities of LLMs in the natural table-rich context of financial reports. We employ a rigorous data processing and filtering procedure to ensure that the question-answer pairs are logical, reasonable, and diverse. We experiment with 7 state-of-the-art models, and find that despite reasonable accuracy in locating facts, they often falter when required to execute more sophisticated reasoning or multi-step calculations. We conclude with a qualitative study of the failure modes and discuss the challenges of constructing a challenging benchmark. We make the evaluation data, judging procedure and results of this study publicly available to facilitate research in this field.
Abstract（参考訳）: 大規模言語モデル(LLM)は、知識集約的な活動にますます支配的になってきていますが、学術論文や財務報告など、長い表文の混合を理解することには限界があります。長文LLMの最近の進歩は、この分野に新たな可能性をもたらしている。 1) テーブル質問応答(TableQA)の以前のベンチマークでは、コンテキストのない孤立したテーブルに焦点を当てており、実際のシナリオでのモデルの評価が困難になっている。 2)先行ベンチマークでは,テーブル認識やデータ操作・計算,テーブル要約など,テーブル理解の狭いスキルセットに焦点が当てられ,熟練した人間がそれらをまとめて採用している。本研究では、財務報告の自然表に富む文脈において、LCMの全体的表理解能力を評価するために設計された新しいベンチマークであるTableQuestを紹介する。我々は厳密なデータ処理とフィルタリング手法を用いて、問合せ対が論理的で合理的で多様なものであることを保証する。我々は7つの最先端モデルを用いて実験を行い、事実の特定に妥当な精度にもかかわらず、より洗練された推論や多段階の計算を行うために必要な場合には、しばしばフェールすることを示した。フェールモードの質的研究で結論を出し、挑戦的なベンチマークを構築する際の課題について議論する。本研究では,この分野での研究を促進するために,評価データ,判断手順,成果を公開している。

関連論文リスト

Can LLMs Generate Tabular Summaries of Science Papers? Rethinking the Evaluation Protocol [83.90769864167301]
文献レビュー表は、科学論文の集合を要約し比較するために欠かせないものである。学術論文の収集にあたり,ユーザの情報ニーズを最大限に満たす表を作成するタスクについて検討する。我々の貢献は、現実世界で遭遇する3つの重要な課題に焦点を当てている: (i)ユーザープロンプトは、しばしば未特定である; (ii)検索された候補論文は、しばしば無関係な内容を含む; (iii)タスク評価は、浅いテキスト類似性技術を超えて進むべきである。
論文参考訳（メタデータ） (2025-04-14T14:52:28Z)
Interpretable LLM-based Table Question Answering [5.484058026469263]
Plan-of-s (POS) は、モデルの意思決定に対するユーザの理解を改善するために設計された、解釈可能なテーブルQAアプローチである。 POSは,人間のモデル動作の理解を助け,モデル予測の検証を容易にする,高品質な説明手法であることを示す。同じ説明に基づいて意思決定を行う際に、LLMと人間ユーザの間で高い合意(最大90%)を観察する。
論文参考訳（メタデータ） (2024-12-16T22:44:31Z)
TableRAG: Million-Token Table Understanding with Language Models [53.039560091592215]
TableRAG(TableRAG)は、LMベースのテーブル理解用に特別に設計された検索拡張生成(RAG)フレームワークである。 TableRAGは、スキーマとセル検索を組み合わせたクエリ拡張を活用して、LMにそれを提供する前に重要な情報をピンポイントする。以上の結果から,TableRAGは検索精度が向上し,大規模テーブル理解における最先端性能が向上することが示唆された。
論文参考訳（メタデータ） (2024-10-07T04:15:02Z)
TableBench: A Comprehensive and Complex Benchmark for Table Question Answering [33.64465594140019]
本稿では,産業シナリオにおける大規模言語モデル(LLM)の適用について検討する。本稿では,テーブル質問応答機能(TableQA)の4大カテゴリに18のフィールドを含む,包括的で複雑なベンチマークTableBenchを提案する。 TableBenchで実施された大規模な実験は、オープンソースのLLMとプロプライエタリなLLMの両方に、現実世界の要求を満たすための大きな改善の余地があることを示唆している。
論文参考訳（メタデータ） (2024-08-17T11:40:10Z)
On the Robustness of Language Models for Tabular Question Answering [7.486549276995143]
大規模言語モデル(LLM)は、特定の訓練なしにテーブル理解タスクに取り組むことが示されている。我々は,ウィキペディアベースのtextbfWTQ,財務報告ベースの textbfTAT-QA,科学クレームベースの textbfSCITAB,TQA データセット上での LLM の堅牢性を評価する。
論文参考訳（メタデータ） (2024-06-18T15:41:15Z)
Uncovering Limitations of Large Language Models in Information Seeking from Tables [28.19697259795014]
本稿では,テーブル情報探索(TabIS)のための信頼性の高いベンチマークを紹介する。テキスト類似度に基づくメトリクスによる信頼性の低い評価を避けるため、TabISはテキスト生成フォーマットではなく、単一選択の質問フォーマット(質問毎に2つのオプション)を採用する。
論文参考訳（メタデータ） (2024-06-06T14:30:59Z)
Wiki-TabNER:Advancing Table Interpretation Through Named Entity Recognition [19.423556742293762]
TIタスクの評価に広く用いられているベンチマークデータセットを分析した。この欠点を克服するため、我々はより困難なデータセットを構築し、注釈付けします。本稿では,新たに開発された大規模言語モデルを評価するためのプロンプトフレームワークを提案する。
論文参考訳（メタデータ） (2024-03-07T15:22:07Z)
Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering [53.56653281752486]
本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。半構造化文書に適した新しいプロンプト技術を導入する。
論文参考訳（メタデータ） (2024-02-17T05:10:18Z)
A Survey of Table Reasoning with Large Language Models [55.2326738851157]
大規模言語モデル(LLM)の使用は、テーブル推論の主流となる。 LLM時代におけるテーブル推論性能の向上に使用される主流技術について分析する。本研究は,既存手法の改良と実用化の拡充の両面から研究の方向性を示す。
論文参考訳（メタデータ） (2024-02-13T07:17:52Z)
Large Language Model for Table Processing: A Survey [18.32332372134988]
本調査では,テーブル関連タスクの概要について概観する。テーブル質問応答やスプレッドシート操作やテーブルデータ分析といった新しいフィールドなど、従来のタスクをカバーしています。
論文参考訳（メタデータ） (2024-02-04T00:47:53Z)
TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
論文参考訳（メタデータ） (2023-12-14T15:37:04Z)
OmniTab: Pretraining with Natural and Synthetic Data for Few-shot Table-based Question Answering [106.73213656603453]
最小限のアノテーションによるテーブルベースのQAモデルを構築した。本稿では、自然データと合成データの両方を消費する全能事前学習手法を提案する。
論文参考訳（メタデータ） (2022-07-08T01:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。