論文の概要: Rethinking Tabular Data Understanding with Large Language Models

• arxiv url: http://arxiv.org/abs/2312.16702v1
• Date: Wed, 27 Dec 2023 19:58:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 18:12:53.457147
• Title: Rethinking Tabular Data Understanding with Large Language Models
• Title（参考訳）: 大規模言語モデルによる表データ理解の再考
• Authors: Tianyang Liu, Fei Wang, Muhao Chen
• Abstract要約: 本研究では,大規模言語モデル(LLM)のテーブル構造摂動に対する堅牢性について検討する。 我々は,同じ内容を示す表の構造的差異が,特に記号的推論タスクにおいて顕著な性能低下を示すことを示した。 テキストおよび記号的推論経路の集約は, 混合自己整合機構によって促進され, SOTA性能が73.6%向上し, WIKITABLEQUESTIONSの精度が向上した。
• 参考スコア（独自算出の注目度）: 39.38132513255292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown to be capable of various tasks, yet their capability in interpreting and reasoning over tabular data remains an underexplored area. In this context, this study investigates from three core perspectives: the robustness of LLMs to structural perturbations in tables, the comparative analysis of textual and symbolic reasoning on tables, and the potential of boosting model performance through the aggregation of multiple reasoning pathways. We discover that structural variance of tables presenting the same content reveals a notable performance decline, particularly in symbolic reasoning tasks. This prompts the proposal of a method for table structure normalization. Moreover, textual reasoning slightly edges out symbolic reasoning, and a detailed error analysis reveals that each exhibits different strengths depending on the specific tasks. Notably, the aggregation of textual and symbolic reasoning pathways, bolstered by a mix self-consistency mechanism, resulted in achieving SOTA performance, with an accuracy of 73.6% on WIKITABLEQUESTIONS, representing a substantial advancement over previous existing table processing paradigms of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々なタスクをこなせるが、表形式のデータの解釈と推論の能力は未探索の領域のままである。 本研究は,表の構造的摂動に対するllmの頑健性,表上のテキスト的・記号的推論の比較分析,複数の推論経路の集約によるモデル性能の向上の可能性という3つの視点から検討する。 同じ内容を示す表の構造的分散は、特に象徴的推論タスクにおいて顕著な性能低下を示す。 これにより、表構造正規化の方法が提案される。 さらに、テキスト推論は記号的推論をわずかに外し、詳細な誤り解析により、それぞれが特定のタスクによって異なる強度を示すことが明らかになった。 特に、テキストおよびシンボリック推論経路の集約は、混合自己整合機構によって促進され、従来のLLMのテーブル処理パラダイムよりも大幅に進歩したWIKITABLEQUESTIONS上で73.6%の精度でSOTA性能を達成する結果となった。

関連論文リスト

• GRS-QA -- Graph Reasoning-Structured Question Answering Dataset [50.223851616680754]
  グラフ推論-構造化質問応答データセット(GRS-QA)を導入する。 既存のM-QAデータセットとは異なり、GRS-QAは推論グラフを構築することで複雑な推論経路を明示的にキャプチャする。 実験により, LLMは, 様々な推論構造を用いて, 問合せ処理を行う際に, 異なる性能を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-01T05:14:03Z)
• Knowledge-Aware Reasoning over Multimodal Semi-structured Tables [85.24395216111462]
  本研究では、現在のAIモデルがマルチモーダルな構造化データに基づいて知識を考慮した推論を行うことができるかどうかを検討する。 この目的のために設計された新しいデータセットであるMMTabQAを紹介する。 我々の実験は、複数のテキストと画像の入力を効果的に統合し解釈する上で、現在のAIモデルに対する重大な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-08-25T15:17:43Z)
• ALTER: Augmentation for Large-Table-Based Reasoning [5.164923314261229]
  ALTER(Augmentation for Large-Table-Based Reasoning)は、NL (Free-form Natural Language) とNL (Augmentation for Large-Table-Based Reasoning) の双方の質問において、潜在的な拡張可能性を活用するために設計されたフレームワークである。 テーブルからの関連データの小さなサブセットのみを利用することで、ALTERはテーブルベースの推論ベンチマークで優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-03T12:34:45Z)
• H-STAR: LLM-driven Hybrid SQL-Text Adaptive Reasoning on Tables [56.73919743039263]
  本稿では,2段階のプロセスにシンボル的アプローチと意味的アプローチ(テキスト的アプローチ)を統合し,制約に対処する新しいアルゴリズムを提案する。 実験の結果,H-STARは3つの質問応答(QA)と事実検証データセットにおいて,最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-06-29T21:24:19Z)
• NormTab: Improving Symbolic Reasoning in LLMs Through Tabular Data Normalization [6.253771639590562]
  我々は,Webテーブルの正規化によるLarge Language Models(LLMs)のシンボリック推論性能の向上を目的としたフレームワークであるNormTabを紹介した。 表データのシンボリック推論を支援するために, LLMを用いてテーブル正規化を1回1回1回前処理ステップとして検討する。 WikiTableQuestion や TabFact などの Web テーブルデータセットを用いた実験により,NormTab の活用がシンボル推論性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-25T22:40:03Z)
• On the Robustness of Language Models for Tabular Question Answering [7.486549276995143]
  大規模言語モデル(LLM)は、特定の訓練なしにテーブル理解タスクに取り組むことが示されている。 我々は、ウィキペディアベースの$textbfWTQ$および財務報告ベースの$textbfTAT-QA$TQAデータセット上でLLMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2024-06-18T15:41:15Z)
• Investigating Symbolic Capabilities of Large Language Models [16.88906206735967]
  本研究の目的は,一連の記号的タスクにおいて,LLM(Large Language Models)を厳格に評価することにより,ギャップを埋めることである。 我々の分析では、エンタープライズグレードの4つのモデルとオープンソースの4つのモデルを含む8つのLCMを含み、そのうち3つは数学的なタスクで事前訓練されている。 その結果,記号数で表される複雑性が増大するにつれて,LLMの文脈自由かつ文脈依存的な記号処理における性能が著しく低下することが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-21T21:24:34Z)
• Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering [53.56653281752486]
  本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。 数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。 半構造化文書に適した新しいプロンプト技術を導入する。
  論文  参考訳（メタデータ） (2024-02-17T05:10:18Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。