論文の概要: BloombergGPT: A Large Language Model for Finance
- arxiv url: http://arxiv.org/abs/2303.17564v1
- Date: Thu, 30 Mar 2023 17:30:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-31 12:32:38.504906
- Title: BloombergGPT: A Large Language Model for Finance
- Title(参考訳): BloombergGPT: 金融のための大規模言語モデル
- Authors: Shijie Wu, Ozan Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze,
Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenberg, Gideon Mann
- Abstract要約: 我々は、幅広い財務データに基づいて訓練された500億のパラメータ言語モデルであるBloombergGPTを提示する。
Bloombergの広範囲なデータソースに基づいて,汎用データセットから345億のトークンを付加した,363億のトークンデータセットを構築しました。
我々の混合データセットトレーニングは、財務タスクにおける既存のモデルをかなりのマージンで上回るモデルにつながります。
- 参考スコア(独自算出の注目度): 26.31868832501021
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The use of NLP in the realm of financial technology is broad and complex,
with applications ranging from sentiment analysis and named entity recognition
to question answering. Large Language Models (LLMs) have been shown to be
effective on a variety of tasks; however, no LLM specialized for the financial
domain has been reported in literature. In this work, we present BloombergGPT,
a 50 billion parameter language model that is trained on a wide range of
financial data. We construct a 363 billion token dataset based on Bloomberg's
extensive data sources, perhaps the largest domain-specific dataset yet,
augmented with 345 billion tokens from general purpose datasets. We validate
BloombergGPT on standard LLM benchmarks, open financial benchmarks, and a suite
of internal benchmarks that most accurately reflect our intended usage. Our
mixed dataset training leads to a model that outperforms existing models on
financial tasks by significant margins without sacrificing performance on
general LLM benchmarks. Additionally, we explain our modeling choices, training
process, and evaluation methodology. As a next step, we plan to release
training logs (Chronicles) detailing our experience in training BloombergGPT.
- Abstract(参考訳): 金融技術の領域におけるNLPの利用は広範かつ複雑であり、感情分析や名前付きエンティティ認識から質問応答まで幅広い応用がある。
大規模言語モデル(LLM)は様々なタスクに有効であることが示されているが、金融分野に特化したLLMは文献で報告されていない。
本稿では、幅広い財務データに基づいて訓練された500億のパラメータ言語モデルであるBloombergGPTを紹介する。
我々は、bloombergの広範なデータソースに基づいて363億のトークンデータセットを構築しています。
我々はBloombergGPTを標準LLMベンチマーク、オープンファイナンシャルベンチマーク、そして我々の意図した使用を最も正確に反映した内部ベンチマークで検証する。
当社の混合データセットトレーニングは、一般的なllmベンチマークのパフォーマンスを犠牲にすることなく、財務タスクの既存モデルをかなりのマージンで上回るモデルにつながります。
さらに、モデリングの選択、トレーニングプロセス、評価方法論を説明します。
次のステップとして、BloombergGPTトレーニングの経験を詳述したトレーニングログ(Chronicles)をリリースする予定です。
関連論文リスト
- FinTral: A Family of GPT-4 Level Multimodal Financial Large Language
Models [19.970419667319046]
FinTralは、Mistral-7bモデルに基づいて構築され、財務分析用に調整された、最先端のマルチモーダル言語モデル(LLM)のスイートである。
我々はFinTralをドメイン固有の事前訓練、命令微調整、RLAIFトレーニングで強化する。
我々のFinTralモデルは、FinTral-DPO-T&Rと呼ばれる高度なツールと検索手法を用いて直接選好最適化を訓練し、例外的なゼロショット性能を示す。
論文 参考訳(メタデータ) (2024-02-16T05:05:12Z) - Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。
1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。
小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
論文 参考訳(メタデータ) (2024-01-26T11:04:01Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language
Models [56.84735912476625]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple
Experts Fine-tuning [74.99318727786337]
金融大規模言語モデル(LLM)を構築するための多言語エキスパートファインチューニングフレームワークを提案する。
DISC-FIN-SFTという金融インストラクションチューニングデータセットを構築し、4つのカテゴリ(コンサルト、NLPタスク、コンピューティング、検索強化ジェネレーション)のインストラクションサンプルを含む。
複数のベンチマークで評価した結果, 様々な財務シナリオにおいて, ベースラインモデルよりも優れた性能を示した。
論文 参考訳(メタデータ) (2023-10-23T11:33:41Z) - Temporal Data Meets LLM -- Explainable Financial Time Series Forecasting [7.485041391778341]
我々はNASDAQ-100株に重点を置いており、公開アクセス可能な歴史的株価データ、企業のメタデータ、歴史的経済・金融ニュースを活用している。
我々は,Open-LLaMA などの公開 LLM を微調整した上で,説明可能な予測を生成するための命令を理解することができることを示す。
論文 参考訳(メタデータ) (2023-06-19T15:42:02Z) - LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset,
Framework, and Benchmark [81.42376626294812]
本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。
我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。
本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
論文 参考訳(メタデータ) (2023-06-11T14:01:17Z) - PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark
for Finance [63.51545277822702]
PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。
我々はLLaMAを細調整してFinMAを提案する。
我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
論文 参考訳(メタデータ) (2023-06-08T14:20:29Z) - Dynamic Datasets and Market Environments for Financial Reinforcement
Learning [68.11692837240756]
FinRL-Metaは、現実世界の市場からジムスタイルの市場環境へ動的データセットを処理するライブラリである。
我々は,ユーザが新しい取引戦略を設計するための足場として,人気のある研究論文を例示し,再現する。
また、ユーザが自身の結果を視覚化し、相対的なパフォーマンスを評価するために、このライブラリをクラウドプラットフォームにデプロイします。
論文 参考訳(メタデータ) (2023-04-25T22:17:31Z) - WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model
for Financial Domain [42.093876880881886]
ドメイン固有型金融LANGuageモデル(FLANG)を提案する。
ファイナンシャルキーワードとフレーズを使用して、スパン境界目的とインフィリング目的ととともに、マスキングを改善する。
私たちのモデル、コード、ベンチマークデータはGithubとHuggingfaceで公開されています。
論文 参考訳(メタデータ) (2022-10-31T18:35:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。