論文の概要: Exploring the Impact of Corpus Diversity on Financial Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2310.13312v1
• Date: Fri, 20 Oct 2023 07:04:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 00:06:22.742926
• Title: Exploring the Impact of Corpus Diversity on Financial Pretrained Language Models
• Title（参考訳）: コーパス多様性が金融事前訓練言語モデルに及ぼす影響を探る
• Authors: Jaeyoung Choe, Keonwoong Noh, Nayeon Kim, Seyun Ahn, Woohwan Jung
• Abstract要約: 金融言語モデル(PLM)が十分に多様な財務データに事前訓練されていないことを示す。 この問題に対処するため、我々はこれらの多様なデータセットに基づいてFiLM(Financial Language Model)を訓練した。 実験の結果,FiLMは既存の金融PLMだけでなく一般ドメインPLMよりも優れていたことが確認された。
• 参考スコア（独自算出の注目度）: 2.5749046466046903
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the past few years, various domain-specific pretrained language models (PLMs) have been proposed and have outperformed general-domain PLMs in specialized areas such as biomedical, scientific, and clinical domains. In addition, financial PLMs have been studied because of the high economic impact of financial data analysis. However, we found that financial PLMs were not pretrained on sufficiently diverse financial data. This lack of diverse training data leads to a subpar generalization performance, resulting in general-purpose PLMs, including BERT, often outperforming financial PLMs on many downstream tasks. To address this issue, we collected a broad range of financial corpus and trained the Financial Language Model (FiLM) on these diverse datasets. Our experimental results confirm that FiLM outperforms not only existing financial PLMs but also general domain PLMs. Furthermore, we provide empirical evidence that this improvement can be achieved even for unseen corpus groups.
• Abstract（参考訳）: 過去数年間、様々なドメイン固有事前訓練言語モデル(PLM)が提案され、生物医学、科学、臨床などの専門分野において一般ドメインPLMよりも優れてきた。 また、金融データ分析の経済的影響が大きいため、金融PLMの研究も行われている。 しかし、金融plmが十分に多様な金融データに事前訓練されていないことが判明した。 この多様なトレーニングデータの欠如により、サブパー一般化性能が向上し、BERTを含む汎用PLMは、多くの下流タスクにおいて財務PLMを上回っている。 この問題に対処するため、我々は幅広い金融コーパスを収集し、これらの多様なデータセット上で金融言語モデル(film)を訓練した。 実験の結果,FiLMは既存の金融PLMだけでなく一般ドメインPLMよりも優れていたことが確認された。 さらに,この改善が未発見のコーパス群においても達成可能であることを示す実証的証拠を提供する。

関連論文リスト

• Transforming Scholarly Landscapes: Influence of Large Language Models on Academic Fields beyond Computer Science [77.31665252336157]
  大規模言語モデル (LLM) は自然言語処理 (NLP) において転換期を迎えた。 本研究は,NLP以外の分野におけるLLMの影響と利用について実験的に検討する。
  論文  参考訳（メタデータ） (2024-09-29T01:32:35Z)
• SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models [6.639972934967109]
  大規模言語モデル (LLM) は、金融業界において自然言語処理を推進するための強力なツールとなっている。 SNFinLLMという中国の金融ドメイン向けに設計された新しい大規模言語モデルを提案する。 SNFinLLMは、質問への回答、財務調査レポートの要約、感情の分析、財務計算の実行など、ドメイン固有のタスクに優れています。
  論文  参考訳（メタデータ） (2024-08-05T08:24:24Z)
• AlphaFin: Benchmarking Financial Analysis with Retrieval-Augmented Stock-Chain Framework [48.3060010653088]
  我々はAlphaFinデータセットをリリースし、従来の研究データセット、リアルタイム財務データ、手書きのチェーン・オブ・プリート(CoT)データを組み合わせています。 次に、AlphaFinデータセットを使用して、金融分析タスクを効果的に処理するために、Stock-Chainと呼ばれる最先端の手法をベンチマークします。
  論文  参考訳（メタデータ） (2024-03-19T09:45:33Z)
• A Survey of Large Language Models in Finance (FinLLMs) [10.195778659105626]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクで顕著な機能を示している。 この調査は、FinLLMの歴史、テクニック、パフォーマンス、機会と課題を含む、包括的な概要を提供する。 ファイナンスにおけるAI研究を支援するために、アクセス可能なデータセットと評価ベンチマークのコレクションをGitHubにコンパイルします。
  論文  参考訳（メタデータ） (2024-02-04T02:06:57Z)
• Revolutionizing Finance with LLMs: An Overview of Applications and Insights [47.11391223936608]
  ChatGPTのような大規模言語モデル(LLM)はかなり進歩しており、様々な分野に適用されている。 これらのモデルは、財務報告の自動生成、市場のトレンド予測、投資家の感情分析、パーソナライズされた財務アドバイスの提供に利用されています。
  論文  参考訳（メタデータ） (2024-01-22T01:06:17Z)
• A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs for Financial Sentiment Analysis [0.0]
  我々は、財務分野のデータセット上で、コンテキスト内学習と微調整LDMの2つのアプローチを採用する。 以上の結果から, 微調整された小型LCMは, 最先端の微調整LDMに匹敵する性能を達成できることが示唆された。 文脈内学習におけるショット数が増加すると、財務領域の感情分析のパフォーマンスが向上することはない。
  論文  参考訳（メタデータ） (2023-12-14T08:13:28Z)
• Enhancing Financial Sentiment Analysis via Retrieval Augmented Large Language Models [11.154814189699735]
  大規模な言語モデル (LLM) は様々なNLPタスクにおいて優れた性能を示した。 本稿では,金融感情分析のためのLLMフレームワークを提案する。 提案手法の精度は15%から48%向上し,F1得点を得た。
  論文  参考訳（メタデータ） (2023-10-06T05:40:23Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)
• ElitePLM: An Empirical Study on General Language Ability Evaluation of Pretrained Language Models [78.08792285698853]
  本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。 実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
  論文  参考訳（メタデータ） (2022-05-03T14:18:10Z)
• Knowledge Inheritance for Pre-trained Language Models [57.51305807391381]
  我々は「知識継承(KI)」という新しい事前学習フレームワークを導入する。 KIは、自己学習と教師指導の両方を組み合わせて、より大きなPLMを効率的に訓練する。 KIは生涯学習と知識伝達を十分に支援できることを示す。
  論文  参考訳（メタデータ） (2021-05-28T14:43:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。