論文の概要: TabSQLify: Enhancing Reasoning Capabilities of LLMs Through Table Decomposition

• arxiv url: http://arxiv.org/abs/2404.10150v1
• Date: Mon, 15 Apr 2024 21:42:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 18:41:41.685598
• Title: TabSQLify: Enhancing Reasoning Capabilities of LLMs Through Table Decomposition
• Title（参考訳）: TabSQLify: テーブル分解によるLLMの推論機能強化
• Authors: Md Mahadi Hasan Nahid, Davood Rafiei,
• Abstract要約: テーブル推論は、自然言語の質問と構造化データの両方を理解する必要がある難しいタスクである。 テキスト・ツー・ジェネレーションを利用したテーブルを,より小さく,関連するサブテーブルに分解する新しい方法であるTabifyを提案する。 WikiTQベンチマークでは,64.7%の精度で精度が向上した。
• 参考スコア（独自算出の注目度）: 6.253771639590562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Table reasoning is a challenging task that requires understanding both natural language questions and structured tabular data. Large language models (LLMs) have shown impressive capabilities in natural language understanding and generation, but they often struggle with large tables due to their limited input length. In this paper, we propose TabSQLify, a novel method that leverages text-to-SQL generation to decompose tables into smaller and relevant sub-tables, containing only essential information for answering questions or verifying statements, before performing the reasoning task. In our comprehensive evaluation on four challenging datasets, our approach demonstrates comparable or superior performance compared to prevailing methods reliant on full tables as input. Moreover, our method can reduce the input context length significantly, making it more scalable and efficient for large-scale table reasoning applications. Our method performs remarkably well on the WikiTQ benchmark, achieving an accuracy of 64.7%. Additionally, on the TabFact benchmark, it achieves a high accuracy of 79.5%. These results surpass other LLM-based baseline models on gpt-3.5-turbo (chatgpt). TabSQLify can reduce the table size significantly alleviating the computational load on LLMs when handling large tables without compromising performance.
• Abstract（参考訳）: テーブル推論は、自然言語の質問と構造化された表データの両方を理解する必要がある難しいタスクである。 大規模言語モデル(LLM)は、自然言語の理解と生成において顕著な能力を示しているが、入力長が限られているため、しばしば大きなテーブルと競合する。 本稿では,テキストからSQLへの生成を利用してテーブルをより小さく,関連するサブテーブルに分解するTabSQLifyを提案する。 提案手法は,4つの挑戦的データセットの総合評価において,全テーブルを入力として依存する一般的な手法と比較して,同等あるいは優れた性能を示す。 さらに,提案手法は入力コンテキスト長を大幅に削減できるため,大規模テーブル推論アプリケーションにおいて,よりスケーラブルで効率的な処理が可能となる。 WikiTQベンチマークでは,64.7%の精度で精度が向上した。 さらに、TabFactベンチマークでは、79.5%の精度を実現している。 これらの結果は、gpt-3.5-turbo(chatgpt)上の他のLLMベースベースラインモデルを上回る。 TabSQLifyは、大きなテーブルを扱う場合、パフォーマンスを損なうことなく、LLMの計算負荷を大幅に軽減できる。

関連論文リスト

• RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
  本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。 ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。 提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
  論文  参考訳（メタデータ） (2024-10-31T16:22:26Z)
• Accurate and Regret-aware Numerical Problem Solver for Tabular Question Answering [29.384514074911955]
  本研究では,大規模言語モデルを用いたTabLaPというモデルを提案する。 TabLaPは最先端のモデルよりもかなり正確であることを示し、2つのデータセットで解の精度を5.7%と5.8%改善した。
  論文  参考訳（メタデータ） (2024-10-10T05:34:00Z)
• TableRAG: Million-Token Table Understanding with Language Models [53.039560091592215]
  TableRAG(TableRAG)は、LMベースのテーブル理解用に特別に設計された検索拡張生成(RAG)フレームワークである。 TableRAGは、スキーマとセル検索を組み合わせたクエリ拡張を活用して、LMにそれを提供する前に重要な情報をピンポイントする。 以上の結果から,TableRAGは検索精度が向上し,大規模テーブル理解における最先端性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-10-07T04:15:02Z)
• TART: An Open-Source Tool-Augmented Framework for Explainable Table-based Reasoning [61.14586098005874]
  現在のLarge Language Models (LLM) は、テーブル構造を理解し、正確な数値推論を適用する能力に制限がある。 LLMと特殊なツールを統合するTART(Tool-Augmented Reasoning framework for Tables)を紹介した。 TARTには、正確なデータ表現を保証するテーブルフォーマッター、特定の計算ツールを開発するツールメーカー、説明可能性を維持するための説明ジェネレータの3つの重要なコンポーネントが含まれている。
  論文  参考訳（メタデータ） (2024-09-18T06:19:59Z)
• Generating Tables from the Parametric Knowledge of Language Models [6.316194671269148]
  大規模言語モデル(LLM)のパラメトリック知識から表を生成することを検討する。 GPT-3.5, GPT-4, Llama2-13B, Llama2-70Bの表生成能力について検討した。 評価のために、100のキュレートされたウィキペディアテーブルを含む新しいベンチマークWikiTabGenを導入する。
  論文  参考訳（メタデータ） (2024-06-16T12:55:55Z)
• OpenTab: Advancing Large Language Models as Open-domain Table Reasoners [38.29047314758911]
  OpenTabは、Large Language Models (LLM)を利用したオープンドメインテーブル推論フレームワークである。 OpenTabはオープンドメインとクローズドドメインの両方でベースラインを大幅に上回り、最大21.5%の精度を実現している。
  論文  参考訳（メタデータ） (2024-02-22T08:01:01Z)
• Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding [79.9461269253121]
  そこで我々は、中間思考のプロキシとして、図表データを推論チェーンで明示的に使用するChain-of-Tableフレームワークを提案する。 Chain-of-TableはWikiTQ、FeTaQA、TabFactベンチマークで最新のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-01-09T07:46:26Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• Large Language Models are Versatile Decomposers: Decompose Evidence and Questions for Table-based Reasoning [45.013230888670435]
  大規模言語モデル(LLM)を効率的なテーブルベースの推論のためのデコンパイラとして活用する。 巨大な証拠(巨大な表)をサブエビデンス(小さな表)に分解し、無駄な情報の干渉を軽減する。 我々は,思考連鎖のジレンマを軽減するために,「パーシング・エグゼクティオン・フィリング」戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-31T17:51:45Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。