論文の概要: TART: An Open-Source Tool-Augmented Framework for Explainable Table-based Reasoning

• arxiv url: http://arxiv.org/abs/2409.11724v1
• Date: Wed, 18 Sep 2024 06:19:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 19:00:08.067161
• Title: TART: An Open-Source Tool-Augmented Framework for Explainable Table-based Reasoning
• Title（参考訳）: TART: 説明可能なテーブルベースの推論のためのオープンソースのツール拡張フレームワーク
• Authors: Xinyuan Lu, Liangming Pan, Yubo Ma, Preslav Nakov, Min-Yen Kan,
• Abstract要約: 現在のLarge Language Models (LLM) は、テーブル構造を理解し、正確な数値推論を適用する能力に制限がある。 LLMと特殊なツールを統合するTART(Tool-Augmented Reasoning framework for Tables)を紹介した。 TARTには、正確なデータ表現を保証するテーブルフォーマッター、特定の計算ツールを開発するツールメーカー、説明可能性を維持するための説明ジェネレータの3つの重要なコンポーネントが含まれている。
• 参考スコア（独自算出の注目度）: 61.14586098005874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current Large Language Models (LLMs) exhibit limited ability to understand table structures and to apply precise numerical reasoning, which is crucial for tasks such as table question answering (TQA) and table-based fact verification (TFV). To address these challenges, we introduce our Tool-Augmented Reasoning framework for Tables (TART), which integrates LLMs with specialized tools. TART contains three key components: a table formatter to ensure accurate data representation, a tool maker to develop specific computational tools, and an explanation generator to maintain explainability. We also present the TOOLTAB dataset, a new benchmark designed specifically for training LLMs in table-tool integration. Our experiments indicate that TART achieves substantial improvements over existing methods (e.g., Chain-of-Thought) by improving both the precision of data processing and the clarity of the reasoning process. Notably, TART paired with CodeLlama achieves 90.0% of the accuracy of the closed-sourced LLM GPT-3.5-turbo, highlighting its robustness in diverse real-world scenarios. All the code and data are available at https://github.com/XinyuanLu00/TART.
• Abstract（参考訳）: 現在のLarge Language Models (LLMs) は、テーブル構造を理解し、正確な数値推論を適用する能力に限界があり、これはテーブル質問応答(TQA)やテーブルベースの事実検証(TFV)といったタスクに不可欠である。 これらの課題に対処するために、特殊なツールとLLMを統合するTART(Tool-Augmented Reasoning framework for Tables)を紹介します。 TARTには、正確なデータ表現を保証するテーブルフォーマッター、特定の計算ツールを開発するツールメーカー、説明可能性を維持するための説明ジェネレータの3つの重要なコンポーネントが含まれている。 また、テーブル-ツール統合におけるLLMのトレーニングに特化して設計された新しいベンチマークであるTOOLTABデータセットも提示する。 実験の結果,データ処理の精度と推論プロセスの明確さを両立させることにより,既存の手法(例えばChain-of-Thought)よりも大幅に改善できることが示唆された。 特に、CodeLlamaと組み合わせたTARTは、クローズドソースのLCM GPT-3.5-turboの精度の90.0%を達成し、さまざまな実世界のシナリオにおける堅牢性を強調している。 すべてのコードとデータはhttps://github.com/XinyuanLu00/TARTで入手できる。

関連論文リスト

• Generating Tables from the Parametric Knowledge of Language Models [6.316194671269148]
  大規模言語モデル(LLM)のパラメトリック知識から表を生成することを検討する。 GPT-3.5, GPT-4, Llama2-13B, Llama2-70Bの表生成能力について検討した。 評価のために、100のキュレートされたウィキペディアテーブルを含む新しいベンチマークWikiTabGenを導入する。
  論文  参考訳（メタデータ） (2024-06-16T12:55:55Z)
• TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
  大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。 この設定をよりよく評価し、モデリング作業を容易にするために、テーブルを通してのテキストと計算について紹介する。 TACTには、1つ以上のテキストに散在する縫合情報を要求し、この情報を複雑な統合して回答を生成する、困難な命令が含まれている。
  論文  参考訳（メタデータ） (2024-06-05T20:32:56Z)
• TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [52.73289223176475]
  TableLLMは、13億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。 我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
  論文  参考訳（メタデータ） (2024-03-28T11:21:12Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [58.11442663694328]
  テーブルプロンプトを生成するための多用途前処理ツールボックスとして,TAP4LLMを提案する。 各モジュールにおいて、様々なシナリオで使用されるいくつかの一般的なメソッドを収集し、設計する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• TableQAKit: A Comprehensive and Practical Toolkit for Table-based Question Answering [23.412691101965414]
  TableQAKitは、TableQA専用に設計された最初の総合ツールキットである。 TableQAKitは、ビジュアル操作を含むインタラクティブなインターフェースと、使いやすい包括的なデータを備えたオープンソースである。
  論文  参考訳（メタデータ） (2023-10-23T16:33:23Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT [19.57099486334867]
  TableGPTは、大きな言語モデル(LLM)が外部機能コマンドを使用してテーブル上で理解し、操作できるようにするフレームワークである。 TableGPTは、ユーザに対して、テーブルデータを活用することによって、利便性とアクセシビリティを提供することを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T17:36:09Z)
• CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
  大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。 我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。 我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。