論文の概要: PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark
for Finance
- arxiv url: http://arxiv.org/abs/2306.05443v1
- Date: Thu, 8 Jun 2023 14:20:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 16:05:09.457671
- Title: PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark
for Finance
- Title(参考訳): PIXIU:ファイナンスのための大規模言語モデル、インストラクションデータ、評価ベンチマーク
- Authors: Qianqian Xie, Weiguang Han, Xiao Zhang, Yanzhao Lai, Min Peng,
Alejandro Lopez-Lira, Jimin Huang
- Abstract要約: PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。
我々はLLaMAを細調整してFinMAを提案する。
我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
- 参考スコア(独自算出の注目度): 63.51545277822702
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although large language models (LLMs) has shown great performance on natural
language processing (NLP) in the financial domain, there are no publicly
available financial tailtored LLMs, instruction tuning datasets, and evaluation
benchmarks, which is critical for continually pushing forward the open-source
development of financial artificial intelligence (AI). This paper introduces
PIXIU, a comprehensive framework including the first financial LLM based on
fine-tuning LLaMA with instruction data, the first instruction data with 136K
data samples to support the fine-tuning, and an evaluation benchmark with 5
tasks and 9 datasets. We first construct the large-scale multi-task instruction
data considering a variety of financial tasks, financial document types, and
financial data modalities. We then propose a financial LLM called FinMA by
fine-tuning LLaMA with the constructed dataset to be able to follow
instructions for various financial tasks. To support the evaluation of
financial LLMs, we propose a standardized benchmark that covers a set of
critical financial tasks, including five financial NLP tasks and one financial
prediction task. With this benchmark, we conduct a detailed analysis of FinMA
and several existing LLMs, uncovering their strengths and weaknesses in
handling critical financial tasks. The model, datasets, benchmark, and
experimental results are open-sourced to facilitate future research in
financial AI.
- Abstract(参考訳): 大規模言語モデル(LLM)は、金融分野における自然言語処理(NLP)に優れたパフォーマンスを示しているが、金融人工知能(AI)のオープンソース開発を継続的に進める上で重要な、財務調整用LLM、命令チューニングデータセット、評価ベンチマークは公開されていない。
本稿では,PIXIU,命令データ付き微調整LLaMAに基づく最初の金融LLM,微調整をサポートした136Kデータサンプルを用いた最初の命令データ,5つのタスクと9つのデータセットによる評価ベンチマークなどを紹介する。
まず,様々な財務課題,財務文書タイプ,財務データモダリティを考慮した大規模マルチタスク指導データを構築した。
そこで我々は,FinMAと呼ばれる金融LLMを提案する。LLaMAに構築したデータセットを微調整することで,様々な財務業務の指示に従うことができる。
金融llmの評価を支援するために、5つの金融nlpタスクと1つの財務予測タスクを含む一連の重要な金融タスクをカバーする標準ベンチマークを提案する。
本ベンチマークでは、FinMAおよび既存LLMの詳細な分析を行い、重要な財務課題に対処する際の長所と短所を明らかにする。
このモデル、データセット、ベンチマーク、実験結果は、金融AIにおける将来の研究を促進するためにオープンソース化されている。
関連論文リスト
- The FinBen: An Holistic Financial Benchmark for Large Language Models [75.09474986283394]
FinBenは、金融分野におけるLLMの能力を徹底的に評価するために設計された、初めての包括的なオープンソース評価ベンチマークである。
FinBenは、23の財務タスクにわたる35のデータセットを含み、Cattell-Horn-Carroll理論にインスパイアされた3つの難易度に分類されている。
GPT-4, ChatGPT, そして最新のGeminiを含む15の代表的なLCMを評価した結果, 金融分野におけるその強みと限界についての知見が得られた。
論文 参考訳(メタデータ) (2024-02-20T02:16:16Z) - D\'olares or Dollars? Unraveling the Bilingual Prowess of Financial LLMs
Between Spanish and English [67.48541936784501]
Tois'on de Oro は、英語とのスペイン語共同で、命令データセット、微調整 LLM 、および金融 LLM の評価ベンチマークを確立する最初のフレームワークである。
7つのタスクをカバーする15のデータセットから144万以上のスペイン語と英語のサンプルを含む、厳格にキュレートされたバイリンガル命令データセットを構築した。
FLARE-ESは9つのタスクをカバーする21のデータセットを持つ最初の総合的バイリンガル評価ベンチマークである。
論文 参考訳(メタデータ) (2024-02-12T04:50:31Z) - A Survey of Large Language Models in Finance (FinLLMs) [10.195778659105626]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクで顕著な機能を示している。
この調査は、FinLLMの歴史、テクニック、パフォーマンス、機会と課題を含む、包括的な概要を提供する。
ファイナンスにおけるAI研究を支援するために、アクセス可能なデータセットと評価ベンチマークのコレクションをGitHubにコンパイルします。
論文 参考訳(メタデータ) (2024-02-04T02:06:57Z) - Revolutionizing Finance with LLMs: An Overview of Applications and
Insights [47.11391223936608]
ChatGPTのような大規模言語モデル(LLM)はかなり進歩しており、様々な分野に適用されている。
これらのモデルは、財務報告の自動生成、市場のトレンド予測、投資家の感情分析、パーソナライズされた財務アドバイスの提供に利用されています。
論文 参考訳(メタデータ) (2024-01-22T01:06:17Z) - DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple
Experts Fine-tuning [74.99318727786337]
金融大規模言語モデル(LLM)を構築するための多言語エキスパートファインチューニングフレームワークを提案する。
DISC-FIN-SFTという金融インストラクションチューニングデータセットを構築し、4つのカテゴリ(コンサルト、NLPタスク、コンピューティング、検索強化ジェネレーション)のインストラクションサンプルを含む。
複数のベンチマークで評価した結果, 様々な財務シナリオにおいて, ベースラインモデルよりも優れた性能を示した。
論文 参考訳(メタデータ) (2023-10-23T11:33:41Z) - Large Language Models in Finance: A Survey [13.374900734801168]
大規模言語モデル(LLM)は、金融における人工知能応用の新しい可能性を開いた。
大規模言語モデル(LLM)の最近の進歩は、金融における人工知能応用の新しい可能性を開いた。
論文 参考訳(メタデータ) (2023-09-28T06:04:04Z) - FinGPT: Democratizing Internet-scale Data for Financial Large Language
Models [35.83244096535722]
大型言語モデル (LLM) は、人間に似たテキストの理解と生成に顕著な熟練性を示した。
ファイナンシャル・ジェネレーティブ・プレトレーニング・トランスフォーマー(FinGPT)は、インターネット上の34の多様なソースからリアルタイムの財務データの収集とキュレーションを自動化する。
FinGPTは、FinLLMを民主化し、イノベーションを刺激し、オープンファイナンスにおける新たな機会を開放することを目指している。
論文 参考訳(メタデータ) (2023-07-19T22:43:57Z) - BloombergGPT: A Large Language Model for Finance [42.73350054822628]
我々は、幅広い財務データに基づいて訓練された500億のパラメータ言語モデルであるBloombergGPTを提示する。
Bloombergの広範囲なデータソースに基づいて,汎用データセットから345億のトークンを付加した,363億のトークンデータセットを構築しました。
我々の混合データセットトレーニングは、財務タスクにおける既存のモデルをかなりのマージンで上回るモデルにつながります。
論文 参考訳(メタデータ) (2023-03-30T17:30:36Z) - FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。
我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。
その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
論文 参考訳(メタデータ) (2021-09-01T00:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。