論文の概要: TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools

• arxiv url: http://arxiv.org/abs/2406.03618v2
• Date: Tue, 08 Oct 2024 12:40:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:28:26.153579
• Title: TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools
• Title（参考訳）: TACT:情報抽出ツールによる複合集約推論の促進
• Authors: Avi Caciularu, Alon Jacovi, Eyal Ben-David, Sasha Goldshtein, Tal Schuster, Jonathan Herzig, Gal Elidan, Amir Globerson,
• Abstract要約: 大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。 TACTには、1つ以上のテキストに散らばる縫合情報を要求する難しい命令が含まれている。 既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。 現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。
• 参考スコア（独自算出の注目度）: 51.576974932743596
• License:
• Abstract: Large Language Models (LLMs) often do not perform well on queries that require the aggregation of information across texts. To better evaluate this setting and facilitate modeling efforts, we introduce TACT - Text And Calculations through Tables, a dataset crafted to evaluate LLMs' reasoning and computational abilities using complex instructions. TACT contains challenging instructions that demand stitching information scattered across one or more texts, and performing complex integration on this information to generate the answer. We construct this dataset by leveraging an existing dataset of texts and their associated tables. For each such tables, we formulate new queries, and gather their respective answers. We demonstrate that all contemporary LLMs perform poorly on this dataset, achieving an accuracy below 38%. To pinpoint the difficulties and thoroughly dissect the problem, we analyze model performance across three components: table-generation, Pandas command-generation, and execution. Unexpectedly, we discover that each component presents substantial challenges for current LLMs. These insights lead us to propose a focused modeling framework, which we refer to as IE as a tool. Specifically, we propose to add "tools" for each of the above steps, and implement each such tool with few-shot prompting. This approach shows an improvement over existing prompting techniques, offering a promising direction for enhancing model capabilities in these tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。 この設定をよりよく評価し、モデリング作業を容易にするために、複雑な命令を用いてLSMの推論と計算能力を評価するデータセットであるTACT-Text And calculations through Tablesを紹介した。 TACTには、1つ以上のテキストに散在する縫合情報を要求し、この情報を複雑な統合して回答を生成する、困難な命令が含まれている。 既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。 それぞれのテーブルに対して、新しいクエリを定式化し、それぞれの回答を収集する。 現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。 そこで本研究では,テーブルジェネレーション,パンダコマンドジェネレーション,実行という3つのコンポーネントのモデルパフォーマンスを分析した。 予期せぬことに、各コンポーネントが現在のLLMに対して重大な課題を提起していることが判明した。 これらの知見は、ツールとしてIEと呼ぶ集中型モデリングフレームワークの提案につながります。 具体的には、上記の各ステップに"ツール"を追加し、ほとんどショットプロンプトせずに、それぞれのツールを実装することを提案する。 このアプローチは既存のプロンプト技術よりも改善され、これらのタスクにおけるモデル機能を強化するための有望な方向性を提供する。

関連論文リスト

• Knowledge in Triples for LLMs: Enhancing Table QA Accuracy with Semantic Extraction [1.0968343822308813]
  本稿では,表型データから直交三重項を抽出し,それを検索拡張生成(RAG)モデルに統合することにより,微調整GPT-3.5-turbo-0125モデルにより生成された応答の精度,コヒーレンス,コンテキスト的リッチ性を向上させる手法を提案する。 FeTaQAデータセットの既存のベースライン、特にSacre-BLEUとROUGEの指標に優れています。
  論文  参考訳（メタデータ） (2024-09-21T16:46:15Z)
• TART: An Open-Source Tool-Augmented Framework for Explainable Table-based Reasoning [61.14586098005874]
  現在のLarge Language Models (LLM) は、テーブル構造を理解し、正確な数値推論を適用する能力に制限がある。 LLMと特殊なツールを統合するTART(Tool-Augmented Reasoning framework for Tables)を紹介した。 TARTには、正確なデータ表現を保証するテーブルフォーマッター、特定の計算ツールを開発するツールメーカー、説明可能性を維持するための説明ジェネレータの3つの重要なコンポーネントが含まれている。
  論文  参考訳（メタデータ） (2024-09-18T06:19:59Z)
• RoundTable: Leveraging Dynamic Schema and Contextual Autocomplete for Enhanced Query Precision in Tabular Question Answering [11.214912072391108]
  現実世界のデータセットは、大きな属性と複雑な値の配列を特徴とすることが多い。 従来の手法ではデータセットのサイズと複雑さをLarge Language Modelsに完全にリレーすることはできません。 入力テーブル上でFTS(Full-Text Search)を利用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T13:13:06Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Automating Pharmacovigilance Evidence Generation: Using Large Language Models to Produce Context-Aware SQL [0.0]
  検索拡張世代(RAG)フレームワークでOpenAIのGPT-4モデルを利用する。 ビジネスコンテキストドキュメントはビジネスコンテキストドキュメントでリッチ化され、NLQを構造化クエリ言語クエリに変換する。 複雑性の高いクエリが除外された場合、パフォーマンスは最大85%向上した。
  論文  参考訳（メタデータ） (2024-06-15T17:07:31Z)
• QFMTS: Generating Query-Focused Summaries over Multi-Table Inputs [63.98556480088152]
  表要約は、情報を簡潔で分かりやすいテキスト要約に凝縮するための重要な課題である。 本稿では,クエリ中心のマルチテーブル要約を導入することで,これらの制約に対処する新しい手法を提案する。 提案手法は,テーブルシリアライズモジュール,要約コントローラ,および大規模言語モデルからなり,ユーザの情報要求に合わせたクエリ依存のテーブル要約を生成する。
  論文  参考訳（メタデータ） (2024-05-08T15:05:55Z)
• Wiki-TabNER:Advancing Table Interpretation Through Named Entity Recognition [19.423556742293762]
  TIタスクの評価に広く用いられているベンチマークデータセットを分析した。 この欠点を克服するため、我々はより困難なデータセットを構築し、注釈付けします。 本稿では,新たに開発された大規模言語モデルを評価するためのプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:22:07Z)
• Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering [53.56653281752486]
  本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。 数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。 半構造化文書に適した新しいプロンプト技術を導入する。
  論文  参考訳（メタデータ） (2024-02-17T05:10:18Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。