論文の概要: BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark

• arxiv url: http://arxiv.org/abs/2302.09432v1
• Date: Sat, 18 Feb 2023 22:20:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 18:36:54.033928
• Title: BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark
• Title（参考訳）: BBT-Fin:中国金融ドメイン事前訓練言語モデルの構築、コーパスとベンチマーク
• Authors: Dakuan Lu, Jiaqing Liang, Yipei Xu, Qianyu He, Yipeng Geng, Mengkun Han, Yingsi Xin, Hengkui Wu, Yanghua Xiao
• Abstract要約: 我々は、T5モデルに基づく新しい中国の金融事前学習言語モデルであるBBT-FinT5を紹介する。 BBT-FinCorpusは,4つのソースから約300GBの原文を出力する大規模財務コーパスである。
• 参考スコア（独自算出の注目度）: 12.457193087920183
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To advance Chinese financial natural language processing (NLP), we introduce BBT-FinT5, a new Chinese financial pre-training language model based on the T5 model. To support this effort, we have built BBT-FinCorpus, a large-scale financial corpus with approximately 300GB of raw text from four different sources. In general domain NLP, comprehensive benchmarks like GLUE and SuperGLUE have driven significant advancements in language model pre-training by enabling head-to-head comparisons among models. Drawing inspiration from these benchmarks, we propose BBT-CFLEB, a Chinese Financial Language understanding and generation Evaluation Benchmark, which includes six datasets covering both understanding and generation tasks. Our aim is to facilitate research in the development of NLP within the Chinese financial domain. Our model, corpus and benchmark are released at https://github.com/ssymmetry/BBT-FinCUGE-Applications. Our work belongs to the Big Bang Transformer (BBT), a large-scale pre-trained language model project.
• Abstract（参考訳）: 中国の金融自然言語処理(NLP)を推進するために,T5モデルに基づく新たな金融事前学習言語であるBBT-FinT5を導入する。 BBT-FinCorpusは,4つのソースから約300GBの原文を出力する大規模財務コーパスである。 一般的なドメイン NLP では、GLUE や SuperGLUE のような包括的なベンチマークが、言語モデルの事前トレーニングにおいて、モデル間の直接比較を可能にすることによって、大幅に進歩している。 これらのベンチマークからインスピレーションを得たBBT-CFLEBは、中国の金融言語理解と生成評価ベンチマークであり、理解と生成の両方をカバーした6つのデータセットを含む。 当社の目標は、中国の金融分野におけるnlpの開発研究の促進です。 我々のモデル、コーパス、ベンチマークはhttps://github.com/ssymmetric/BBT-FinCUGE-Applicationsで公開される。 私たちの研究は,大規模な事前学習型言語モデルプロジェクトであるBig Bang Transformer(BBT)に属しています。

関連論文リスト

• Tele-FLM Technical Report [96.19923831660266]
  52Bのオープンソース多言語大言語モデルであるTele-FLM(別名FLM-2)を紹介する。 安定的で効率的な事前訓練のパラダイムと、事実判断能力の強化が特徴である。 これは、Llama2-70BやDeepSeek-67Bのようなより大きな事前学習FLOPを含む強力なオープンソースモデルに匹敵する。
  論文  参考訳（メタデータ） (2024-04-25T14:34:47Z)
• FinTral: A Family of GPT-4 Level Multimodal Financial Large Language Models [18.280762424107408]
  FinTralは、Mistral-7bモデルに基づいて構築された、最先端のマルチモーダル言語モデル(LLM)のスイートである。 我々はFinTralをドメイン固有の事前訓練、命令微調整、RLAIFトレーニングで強化する。 我々のFinTralモデルは、FinTral-DPO-T&Rと呼ばれる高度なツールと検索手法を用いて直接選好最適化を訓練し、例外的なゼロショット性能を示す。
  論文  参考訳（メタデータ） (2024-02-16T05:05:12Z)
• CFBenchmark: Chinese Financial Assistant Benchmark for Large Language Model [22.127509074325324]
  大規模言語モデル(LLM)は金融分野において大きな可能性を証明している。 本研究では,中国金融アシスタントのLCMの性能を評価するためのCFBenchmarkを紹介する。
  論文  参考訳（メタデータ） (2023-11-10T01:12:03Z)
• FinGPT: Large Generative Models for a Small Language [48.46240937758779]
  我々は、世界の人口の0.1%未満で話されるフィンランド語のための大きな言語モデル(LLM)を作成します。 我々は、FinGPTと呼ばれる7つの単言語モデル(186Mから13Bパラメータ)をスクラッチからトレーニングする。 我々は、元のトレーニングデータとフィンランド語を混合した多言語BLOOMモデルの事前訓練を継続し、その結果、176億のパラメータモデルをBLUUMIと呼ぶ。
  論文  参考訳（メタデータ） (2023-11-03T08:05:04Z)
• Skywork: A More Open Bilingual Foundation Model [55.927396986873816]
  英語と中国語の両方のテキストから引き出された3.2兆以上のトークンのコーパスをトレーニングした,大規模言語モデル(LLM)のファミリーであるSkywork-13Bを紹介する。 我々のモデルは,一般的なベンチマークに優れるだけでなく,さまざまなドメインにおける中国語のモデリングにおける芸術的パフォーマンスの即興性も達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-30T08:31:47Z)
• DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning [74.99318727786337]
  金融大規模言語モデル(LLM)を構築するための多言語エキスパートファインチューニングフレームワークを提案する。 DISC-FIN-SFTという金融インストラクションチューニングデータセットを構築し、4つのカテゴリ(コンサルト、NLPタスク、コンピューティング、検索強化ジェネレーション)のインストラクションサンプルを含む。 複数のベンチマークで評価した結果, 様々な財務シナリオにおいて, ベースラインモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-23T11:33:41Z)
• CFGPT: Chinese Financial Assistant with Large Language Model [21.54229667774752]
  CFGPTと命名された中国の金融生成事前学習型トランスフォーマフレームワークを提案する。 CFDataは、事前トレーニングデータセットと教師付き微調整データセットの両方で構成されている。 CFLLMはCFDataで2段階の訓練を受け、事前訓練と微調整を継続する。
  論文  参考訳（メタデータ） (2023-09-19T14:34:01Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)
• WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model for Financial Domain [42.093876880881886]
  ドメイン固有型金融LANGuageモデル(FLANG)を提案する。 ファイナンシャルキーワードとフレーズを使用して、スパン境界目的とインフィリング目的ととともに、マスキングを改善する。 私たちのモデル、コード、ベンチマークデータはGithubとHuggingfaceで公開されています。
  論文  参考訳（メタデータ） (2022-10-31T18:35:18Z)
• Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
  ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。 本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
  論文  参考訳（メタデータ） (2022-05-18T09:17:14Z)
• FinBERT: A Pretrained Language Model for Financial Communications [25.900063840368347]
  事前訓練された金融特化言語モデルはありません。 我々は、金融分野固有のBERTモデルであるFinBERTを、大規模な金融通信コーパスを用いて事前訓練することで、ニーズに対処する。 3つの財務感情分類タスクの実験は、一般的なドメインBERTモデルよりもFinBERTの利点を裏付ける。
  論文  参考訳（メタデータ） (2020-06-15T02:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。