論文の概要: TAT-LLM: A Specialized Language Model for Discrete Reasoning over
Tabular and Textual Data
- arxiv url: http://arxiv.org/abs/2401.13223v2
- Date: Thu, 22 Feb 2024 13:36:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 17:50:46.777216
- Title: TAT-LLM: A Specialized Language Model for Discrete Reasoning over
Tabular and Textual Data
- Title(参考訳): TAT-LLM: 単語とテキストデータの離散推論のための特殊言語モデル
- Authors: Fengbin Zhu, Ziyang Liu, Fuli Feng, Chao Wang, Moxin Li, Tat-Seng Chua
- Abstract要約: 我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
- 参考スコア(独自算出の注目度): 77.66158066013924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we address question answering (QA) over a hybrid of tabular and
textual data that are very common content on the Web (e.g. SEC filings), where
discrete reasoning capabilities are often required. Recently, large language
models (LLMs) like GPT-4 have demonstrated strong multi-step reasoning
capabilities. We then consider harnessing the amazing power of LLMs to solve
our task. We abstract a Step-wise Pipeline for tabular and textual QA, which
consists of three key steps, including Extractor, Reasoner and Executor, and
initially design an instruction to instantiate the pipeline and validate that
GPT-4 outperforms all existing methods. However, utilizing an online LLM like
GPT-4 holds various challenges in terms of cost, latency, and data security
risk, which motivates us to specialize smaller LLMs in this task. We develop a
TAT-LLM language model by fine-tuning LLaMA 2 with the training data generated
automatically from existing expert-annotated datasets following the Step-wise
Pipeline. The experimental results have verified that our TAT-LLM model can
outperform all baseline models, including the previous best fine-tuned models
and very large-scale LLMs like GPT-4 on FinQA, TAT-QA and TAT-DQA benchmarks.
- Abstract(参考訳): 本研究では,web上で非常に一般的なコンテンツである表データとテキストデータのハイブリッド(例えばsec文書)上で質問応答(qa)に対処し,そこでは離散的な推論能力が必要となることが多い。
近年, GPT-4のような大規模言語モデル (LLM) は, 強力な多段階推論能力を示している。
次に,LLMの驚くべきパワーを活用して課題を解決することを検討する。
抽出子,推論子,実行子という3つの重要なステップで構成された表型およびテキスト型qaのためのステップワイズパイプラインを抽象化し,まずパイプラインをインスタンス化し,gpt-4が既存のメソッドを上回っていることを検証するための命令を設計する。
しかし、gpt-4のようなオンラインllmを利用することは、コスト、レイテンシ、データセキュリティのリスクに関して様々な課題を抱えています。
ステップワイズパイプラインに続く既存のエキスパートアノテートデータセットから自動的に生成されたトレーニングデータを用いて,LLaMA 2を微調整することで,TAT-LLM言語モデルを開発する。
実験結果から,我々のTAT-LLMモデルはFinQA,TAT-QA,TAT-DQAベンチマークのGPT-4などの大規模LPMを含む,すべてのベースラインモデルより優れていることが示された。
関連論文リスト
- PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳(メタデータ) (2024-03-06T15:33:32Z) - Benchmarking GPT-4 on Algorithmic Problems: A Systematic Evaluation of
Prompting Strategies [51.485598133884615]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらした。
LLMは体系的な一般化を欠き、学習された統計正則をトレーニング分布の外へ外挿することができる。
本稿では,最も先進的なLCMの1つであるGPT-4の系統的なベンチマークを行う。
論文 参考訳(メタデータ) (2024-02-27T10:44:52Z) - COCO is "ALL'' You Need for Visual Instruction Fine-tuning [39.438410070172125]
ビジュアルインストラクション微調整(IFT)は、MLLMの出力をユーザの意図に合わせるための重要なプロセスである。
近年,多面的アプローチによる視覚的IFTデータセットの構築が提案されている。
我々は新しいIFTデータセットを構築し、COCOデータセットからの画像と、より多様な指示を得られるようにした。
論文 参考訳(メタデータ) (2024-01-17T04:43:45Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Benchmarking the Abilities of Large Language Models for RDF Knowledge
Graph Creation and Comprehension: How Well Do LLMs Speak Turtle? [0.0]
大きな言語モデル(LLM)は、自然言語処理とコーディングタスクにおいて大幅に改善され、急速に進歩している。
様々なLSMの習熟度を評価するために,Turtle構文でシリアライズされた知識グラフを解析,理解,分析,作成する5つのタスクのセットを作成した。
GPT-3.5、GPT-4、Claude 1.3、Claude 2.0の4つの商用LLMと、GPT4All VicunaとGPT4All Falcon 13Bの2つのオフラインモデルが含まれていた。
論文 参考訳(メタデータ) (2023-09-29T10:36:04Z) - Struc-Bench: Are Large Language Models Really Good at Generating Complex
Structured Data? [52.17988569079598]
現在のLarge Language Models (LLM) は複雑な構造化された出力を生成する必要のあるタスクと競合する。
本稿では,この能力向上のソリューションとして,構造を考慮した微調整手法を提案する。
実験の結果,LLaMA-7Bに適用した場合,構造認識による微調整手法は自然言語の制約への順応性を著しく向上することがわかった。
論文 参考訳(メタデータ) (2023-09-16T11:31:58Z) - Large Language Models as Data Preprocessors [10.914067455923847]
OpenAIのGPTシリーズとMetaのLLaMAに代表されるLarge Language Models (LLMs)は、人工知能において大きな進歩を遂げている。
この研究は、LLMの応用を拡大し、データ前処理におけるその可能性を探る。
我々は,最先端のプロンプト技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-30T23:28:43Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - Aligning Instruction Tasks Unlocks Large Language Models as Zero-Shot
Relation Extractors [11.28397947587596]
大規模命令追従データセット上での細調整大型言語モデル(LLM)は、幅広いNLPタスクの性能を大幅に向上させる。
しかし、先進的な命令調整 LLM でさえ、関係抽出(RE)において小さな LM を上回りません。
本稿では,REを質問応答(QA)と整合させるフレームワークであるQA4REを提案する。
論文 参考訳(メタデータ) (2023-05-18T17:48:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。