論文の概要: CFGPT: Chinese Financial Assistant with Large Language Model

• arxiv url: http://arxiv.org/abs/2309.10654v2
• Date: Fri, 22 Sep 2023 09:52:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 17:34:34.824696
• Title: CFGPT: Chinese Financial Assistant with Large Language Model
• Title（参考訳）: CFGPT:大言語モデルによる中国の金融アシスタント
• Authors: Jiangtong Li, Yuxuan Bian, Guoxuan Wang, Yang Lei, Dawei Cheng, Zhijun Ding and Changjun Jiang
• Abstract要約: CFGPTと命名された中国の金融生成事前学習型トランスフォーマフレームワークを提案する。 CFDataは、事前トレーニングデータセットと教師付き微調整データセットの両方で構成されている。 CFLLMはCFDataで2段階の訓練を受け、事前訓練と微調整を継続する。
• 参考スコア（独自算出の注目度）: 21.54229667774752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated great potential in natural language processing tasks within the financial domain. In this work, we present a Chinese Financial Generative Pre-trained Transformer framework, named CFGPT, which includes a dataset~(CFData) for pre-training and supervised fine-tuning, a financial LLM~(CFLLM) to adeptly manage financial texts, and a deployment framework~(CFAPP) designed to navigate real-world financial applications. The CFData comprising both a pre-training dataset and a supervised fine-tuning dataset, where the pre-training dataset collates Chinese financial data and analytics, alongside a smaller subset of general-purpose text with 584M documents and 141B tokens in total, and the supervised fine-tuning dataset is tailored for six distinct financial tasks, embodying various facets of financial analysis and decision-making with 1.5M instruction pairs and 1.5B tokens in total. The CFLLM, which is based on InternLM-7B to balance the model capability and size, is trained on CFData in two stage, continued pre-training and supervised fine-tuning. The CFAPP is centered on large language models (LLMs) and augmented with additional modules to ensure multifaceted functionality in real-world application. Our codes are released at https://github.com/TongjiFinLab/CFGPT.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、金融分野における自然言語処理タスクにおいて大きな可能性を示している。 本稿では,CFGPTという中国の金融生成事前学習型トランスフォーマフレームワークについて紹介する。このフレームワークには,事前学習と教師付き微調整のためのデータセット~(CFData)と,財務テキストを適切に管理するための金融LLM〜(CFLLM)と,実際の金融アプリケーションをナビゲートするためのデプロイメントフレームワーク〜(CFAPP)とが含まれている。 事前トレーニングデータセットと教師付き微調整データセットの両方からなるcfdataは、事前トレーニングデータセットが中国の金融データと分析とを照合し、汎用テキストのごく一部に584m文書と141bトークンを合計し、教師付き微調整データセットは6つの異なる財務タスク向けに調整され、財務分析と意思決定のさまざまな面を、1.5m命令ペアと1.5bトークンで具現化している。 CFLLMは、モデル能力と大きさのバランスをとるためにInternLM-7Bをベースとして、CFDataで2段階の事前訓練と教師付き微調整を継続する。 CFAPPは、大規模言語モデル(LLM)を中心に、現実世界のアプリケーションで多面的な機能を保証するために追加モジュールを追加している。 私たちのコードはhttps://github.com/TongjiFinLab/CFGPTで公開されています。

関連論文リスト

• Training Compute-Optimal Protein Language Models [48.79416103951816]
  ほとんどのタンパク質言語モデルは、パフォーマンスが高くなるまで広範囲の計算資源で訓練されている。 調査は、9億3900万のタンパク質配列からなる膨大なデータセットに基づいて行われた。 私たちは、350万から107億のパラメータから5から200億のユニークなトークンまで、300以上のモデルをトレーニングしました。
  論文  参考訳（メタデータ） (2024-11-04T14:58:37Z)
• Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications [90.67346776473241]
  大規模言語モデル(LLM)は高度な金融アプリケーションを持っているが、十分な財務知識がなく、テーブルや時系列データといったマルチモーダル入力に関わるタスクに苦労することが多い。 我々は、総合的な財務知識をテキスト、テーブル、時系列データに組み込む一連の金融LLMであるtextitOpen-FinLLMsを紹介する。 また、複雑な財務データ型を扱うために、1.43Mの画像テキスト命令で訓練されたマルチモーダルLLMであるFinLLaVAについても紹介する。
  論文  参考訳（メタデータ） (2024-08-20T16:15:28Z)
• SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models [6.639972934967109]
  大規模言語モデル (LLM) は、金融業界において自然言語処理を推進するための強力なツールとなっている。 SNFinLLMという中国の金融ドメイン向けに設計された新しい大規模言語モデルを提案する。 SNFinLLMは、質問への回答、財務調査レポートの要約、感情の分析、財務計算の実行など、ドメイン固有のタスクに優れています。
  論文  参考訳（メタデータ） (2024-08-05T08:24:24Z)
• NumLLM: Numeric-Sensitive Large Language Model for Chinese Finance [15.662858834827444]
  FinLLMは、数値変数が質問に関わったとき、財務文書を理解するのに不満足な性能を示す。 中国語金融のための数値感性大言語モデル(NumLLM)を提案する。 ファイナンシャル質問答えベンチマークの実験では、NumLLMが基礎モデルの性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2024-05-01T15:17:27Z)
• AlphaFin: Benchmarking Financial Analysis with Retrieval-Augmented Stock-Chain Framework [48.3060010653088]
  我々はAlphaFinデータセットをリリースし、従来の研究データセット、リアルタイム財務データ、手書きのチェーン・オブ・プリート(CoT)データを組み合わせています。 次に、AlphaFinデータセットを使用して、金融分析タスクを効果的に処理するために、Stock-Chainと呼ばれる最先端の手法をベンチマークします。
  論文  参考訳（メタデータ） (2024-03-19T09:45:33Z)
• FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models [18.280762424107408]
  FinTralは、Mistral-7bモデルに基づいて構築された、最先端のマルチモーダル言語モデル(LLM)のスイートである。 我々はFinTralをドメイン固有の事前訓練、命令微調整、RLAIFトレーニングで強化する。 我々のFinTralモデルは、FinTral-DPO-T&Rと呼ばれる高度なツールと検索手法を用いて直接選好最適化を訓練し、例外的なゼロショット性能を示す。
  論文  参考訳（メタデータ） (2024-02-16T05:05:12Z)
• D\'olares or Dollars? Unraveling the Bilingual Prowess of Financial LLMs Between Spanish and English [67.48541936784501]
  Tois'on de Oro は、英語とのスペイン語共同で、命令データセット、微調整 LLM 、および金融 LLM の評価ベンチマークを確立する最初のフレームワークである。 7つのタスクをカバーする15のデータセットから144万以上のスペイン語と英語のサンプルを含む、厳格にキュレートされたバイリンガル命令データセットを構築した。 FLARE-ESは9つのタスクをカバーする21のデータセットを持つ最初の総合的バイリンガル評価ベンチマークである。
  論文  参考訳（メタデータ） (2024-02-12T04:50:31Z)
• DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning [74.99318727786337]
  金融大規模言語モデル(LLM)を構築するための多言語エキスパートファインチューニングフレームワークを提案する。 DISC-FIN-SFTという金融インストラクションチューニングデータセットを構築し、4つのカテゴリ(コンサルト、NLPタスク、コンピューティング、検索強化ジェネレーション)のインストラクションサンプルを含む。 複数のベンチマークで評価した結果, 様々な財務シナリオにおいて, ベースラインモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-23T11:33:41Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)
• BloombergGPT: A Large Language Model for Finance [42.73350054822628]
  我々は、幅広い財務データに基づいて訓練された500億のパラメータ言語モデルであるBloombergGPTを提示する。 Bloombergの広範囲なデータソースに基づいて,汎用データセットから345億のトークンを付加した,363億のトークンデータセットを構築しました。 我々の混合データセットトレーニングは、財務タスクにおける既存のモデルをかなりのマージンで上回るモデルにつながります。
  論文  参考訳（メタデータ） (2023-03-30T17:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。