論文の概要: NumLLM: Numeric-Sensitive Large Language Model for Chinese Finance
- arxiv url: http://arxiv.org/abs/2405.00566v1
- Date: Wed, 1 May 2024 15:17:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 15:27:48.887953
- Title: NumLLM: Numeric-Sensitive Large Language Model for Chinese Finance
- Title（参考訳）: Numeric-Sensitive Large Language Model for Chinese Finance - NumLLM
- Authors: Huan-Yi Su, Ke Wu, Yu-Hao Huang, Wu-Jun Li,
- Abstract要約: FinLLMは、数値変数が質問に関わったとき、財務文書を理解するのに不満足な性能を示す。
中国語金融のための数値感性大言語モデル(NumLLM)を提案する。
ファイナンシャル質問答えベンチマークの実験では、NumLLMが基礎モデルの性能を向上させることが示されている。
- 参考スコア（独自算出の注目度）: 15.662858834827444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, many works have proposed various financial large language models (FinLLMs) by pre-training from scratch or fine-tuning open-sourced LLMs on financial corpora. However, existing FinLLMs exhibit unsatisfactory performance in understanding financial text when numeric variables are involved in questions. In this paper, we propose a novel LLM, called numeric-sensitive large language model (NumLLM), for Chinese finance. We first construct a financial corpus from financial textbooks which is essential for improving numeric capability of LLMs during fine-tuning. After that, we train two individual low-rank adaptation (LoRA) modules by fine-tuning on our constructed financial corpus. One module is for adapting general-purpose LLMs to financial domain, and the other module is for enhancing the ability of NumLLM to understand financial text with numeric variables. Lastly, we merge the two LoRA modules into the foundation model to obtain NumLLM for inference. Experiments on financial question-answering benchmark show that NumLLM can boost the performance of the foundation model and can achieve the best overall performance compared to all baselines, on both numeric and non-numeric questions.
- Abstract（参考訳）: 近年,金融コーパス上でスクラッチや微調整のオープンソース LLM を事前学習することで,様々な金融大規模言語モデル (FinLLM) を提案する研究が増えている。
しかし、既存のFinLLMは、数値変数が問題に関わったときの財務文書の理解に不満足な性能を示す。
本稿では,中国金融のための数値感性大言語モデル(NumLLM)を提案する。
まず、財務教科書から財務コーパスを構築し、微調整中におけるLLMの数値能力向上に不可欠である。
その後、構築した金融コーパスの微調整により、2つの個別低ランク適応(LoRA)モジュールを訓練する。
1つのモジュールは汎用LLMをファイナンシャルドメインに適応するためのもので、もう1つのモジュールはNumLLMの数値変数による財務テキストの理解能力を高めるためのものである。
最後に、2つのLoRAモジュールを基礎モデルにマージし、推論用のNumLLMを得る。
ファイナンシャル質問答えベンチマークの実験では、NumLLMは基礎モデルの性能を向上し、数値と非数値の両方の質問に基づいて、すべてのベースラインと比較して最高の全体的なパフォーマンスを達成することができる。
関連論文リスト
- Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications [90.67346776473241]
大規模言語モデル(LLM)は高度な金融アプリケーションを持っているが、十分な財務知識がなく、テーブルや時系列データといったマルチモーダル入力に関わるタスクに苦労することが多い。
我々は、総合的な財務知識をテキスト、テーブル、時系列データに組み込む一連の金融LLMであるtextitOpen-FinLLMsを紹介する。
また、複雑な財務データ型を扱うために、1.43Mの画像テキスト命令で訓練されたマルチモーダルLLMであるFinLLaVAについても紹介する。
論文 参考訳（メタデータ） (2024-08-20T16:15:28Z) - SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models [6.639972934967109]
大規模言語モデル (LLM) は、金融業界において自然言語処理を推進するための強力なツールとなっている。
SNFinLLMという中国の金融ドメイン向けに設計された新しい大規模言語モデルを提案する。
SNFinLLMは、質問への回答、財務調査レポートの要約、感情の分析、財務計算の実行など、ドメイン固有のタスクに優れています。
論文 参考訳（メタデータ） (2024-08-05T08:24:24Z) - CatMemo at the FinLLM Challenge Task: Fine-Tuning Large Language Models using Data Fusion in Financial Applications [10.225210627594894]
IJCAI-2024 FinLLMの課題に対して,金融業務の3つの重要な領域におけるLLMの能力について検討した。
金融分類、財務文書要約、単一株式取引について検討する。
提案手法は,これらの多様なタスクを包括的かつ総合的に処理することを目的としており,LLMの多様かつ複雑な財務課題への対処能力の向上と意思決定能力の向上を図っている。
論文 参考訳（メタデータ） (2024-07-02T05:04:13Z) - FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。
FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
論文 参考訳（メタデータ） (2024-02-20T02:16:16Z) - D\'olares or Dollars? Unraveling the Bilingual Prowess of Financial LLMs
Between Spanish and English [67.48541936784501]
Tois'on de Oro は、英語とのスペイン語共同で、命令データセット、微調整 LLM 、および金融 LLM の評価ベンチマークを確立する最初のフレームワークである。
7つのタスクをカバーする15のデータセットから144万以上のスペイン語と英語のサンプルを含む、厳格にキュレートされたバイリンガル命令データセットを構築した。
FLARE-ESは9つのタスクをカバーする21のデータセットを持つ最初の総合的バイリンガル評価ベンチマークである。
論文 参考訳（メタデータ） (2024-02-12T04:50:31Z) - Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。
1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。
小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
論文 参考訳（メタデータ） (2024-01-26T11:04:01Z) - Revolutionizing Finance with LLMs: An Overview of Applications and
Insights [47.11391223936608]
ChatGPTのような大規模言語モデル(LLM)はかなり進歩しており、様々な分野に適用されている。
これらのモデルは、財務報告の自動生成、市場のトレンド予測、投資家の感情分析、パーソナライズされた財務アドバイスの提供に利用されています。
論文 参考訳（メタデータ） (2024-01-22T01:06:17Z) - DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple
Experts Fine-tuning [74.99318727786337]
金融大規模言語モデル(LLM)を構築するための多言語エキスパートファインチューニングフレームワークを提案する。
DISC-FIN-SFTという金融インストラクションチューニングデータセットを構築し、4つのカテゴリ(コンサルト、NLPタスク、コンピューティング、検索強化ジェネレーション)のインストラクションサンプルを含む。
複数のベンチマークで評価した結果, 様々な財務シナリオにおいて, ベースラインモデルよりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-10-23T11:33:41Z) - Is ChatGPT a Financial Expert? Evaluating Language Models on Financial
Natural Language Processing [22.754757518792395]
FinLMEvalは金融言語モデル評価のためのフレームワークである。
本研究では,エンコーダのみの言語モデルとデコーダのみの言語モデルの性能を比較した。
論文 参考訳（メタデータ） (2023-10-19T11:43:15Z) - Large Language Models in Finance: A Survey [12.243277149505364]
大規模言語モデル(LLM)は、金融における人工知能応用の新しい可能性を開いた。
大規模言語モデル(LLM)の最近の進歩は、金融における人工知能応用の新しい可能性を開いた。
論文 参考訳（メタデータ） (2023-09-28T06:04:04Z) - PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark
for Finance [63.51545277822702]
PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。
我々はLLaMAを細調整してFinMAを提案する。
我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
論文 参考訳（メタデータ） (2023-06-08T14:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。