論文の概要: FinBERT2: A Specialized Bidirectional Encoder for Bridging the Gap in Finance-Specific Deployment of Large Language Models

• arxiv url: http://arxiv.org/abs/2506.06335v1
• Date: Sat, 31 May 2025 13:59:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.190089
• Title: FinBERT2: A Specialized Bidirectional Encoder for Bridging the Gap in Finance-Specific Deployment of Large Language Models
• Title（参考訳）: FinBERT2: 大規模言語モデルの財務的展開におけるギャップを埋める専用双方向エンコーダ
• Authors: Xuan Xu, Fufang Wen, Beilin Chu, Zhibing Fu, Qinhong Lin, Jiaqi Liu, Binjie Fei, Zhongliang Yang, Linna Zhou, Yu Li,
• Abstract要約: FinBERT2は、32bトークンの高品質な財務特化コーパスで事前訓練された、特殊な双方向エンコーダである。 差別的微調整モデル(Fin-Labelers)は、他の(Fin)BERTモデルよりも0.4%-3.3%、LLMを9.7%-12.3%、財務分類5つのタスクで上回っている。 Fin-TopicModelは、金融タイトルの優れたクラスタリングとトピック表現を可能にする。
• 参考スコア（独自算出の注目度）: 24.430050834440998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In natural language processing (NLP), the focus has shifted from encoder-only tiny language models like BERT to decoder-only large language models(LLMs) such as GPT-3. However, LLMs' practical application in the financial sector has revealed three limitations: (1) LLMs often perform worse than fine-tuned BERT on discriminative tasks despite costing much higher computational resources, such as market sentiment analysis in financial reports; (2) Application on generative tasks heavily relies on retrieval augmented generation (RAG) methods to provide current and specialized information, with general retrievers showing suboptimal performance on domain-specific retrieval tasks; (3) There are additional inadequacies in other feature-based scenarios, such as topic modeling. We introduce FinBERT2, a specialized bidirectional encoder pretrained on a high-quality, financial-specific corpus of 32b tokens. This represents the largest known Chinese financial pretraining corpus for models of this parameter size. As a better backbone, FinBERT2 can bridge the gap in the financial-specific deployment of LLMs through the following achievements: (1) Discriminative fine-tuned models (Fin-Labelers) outperform other (Fin)BERT variants by 0.4%-3.3% and leading LLMs by 9.7%-12.3% on average across five financial classification tasks. (2) Contrastive fine-tuned models (Fin-Retrievers) outperform both open-source (e.g., +6.8\% avg improvement over BGE-base-zh) and proprietary (e.g., +4.2\% avg improvement over OpenAI's text-embedding-3-large) embedders across five financial retrieval tasks; (3) Building on FinBERT2 variants, we construct the Fin-TopicModel, which enables superior clustering and topic representation for financial titles. Our work revisits financial BERT models through comparative analysis with contemporary LLMs and offers practical insights for effectively utilizing FinBERT in the LLMs era.
• Abstract（参考訳）: 自然言語処理(NLP)では、BERTのようなエンコーダのみの小さな言語モデルから、GPT-3のようなデコーダのみの大規模言語モデル(LLM)へと焦点が移っている。 しかし、金融セクターにおけるLCMの実践的適用は、1)市場感情分析などの計算資源のコストが高いにもかかわらず、差別的タスクにおいて、細調整のBERTよりも悪い場合が多いこと、2)現在および専門的な情報を提供するために、生成タスクの応用は、検索強化(RAG)メソッドに大きく依存していること、3)ドメイン固有の検索タスクに最適なパフォーマンスを示す一般検索者、(3)トピックモデリングなど、他の機能ベースのシナリオでは、さらなる不整合性が存在すること、の3つの制限が明らかになった。 我々は、32bトークンの高品質な財務特化コーパスを事前訓練した、特殊な双方向エンコーダであるFinBERT2を紹介する。 これは、このパラメーターサイズのモデルのための中国最大の金融事前訓練コーパスである。 より良いバックボーンとして、FinBERT2 は以下の成果により LLM の金融特化展開のギャップを埋めることができる: 1) 識別的微調整モデル(Fin-Labelers)は、他の (Fin)BERT 変種を 0.4%-3.3%、LLM を平均 9.7%-12.3% で上回っている。 2) Fin-Retrievers はオープンソース (eg , +6.8\% avg が BGE-base-zh より優れている) とプロプライエタリ (eg , +4.2\% avg が OpenAI のtext-embedding-3-large を5つの財務検索タスクにまたがって改善されている。 我々の研究は、現代LLMとの比較分析を通じて、金融BERTモデルを再考し、LLM時代のFinBERTを効果的に活用するための実践的な洞察を提供する。

関連論文リスト

• FinMaster: A Holistic Benchmark for Mastering Full-Pipeline Financial Workflows with LLMs [15.230256296815565]
  FinMasterは、金融リテラシー、会計、監査、コンサルティングにおける大規模言語モデル(LLM)の機能を評価するために設計されたベンチマークである。 FinMasterは、FinSim、FinSuite、FinEvalの3つの主要なモジュールで構成されている。 実験では、財務的な推論において重要な能力のギャップが示され、精度は基本的なタスクで90%以上から、複雑なシナリオではわずか37%に低下した。
  論文  参考訳（メタデータ） (2025-05-18T11:47:55Z)
• LLMs Meet Finance: Fine-Tuning Foundation Models for the Open FinLLM Leaderboard [4.629032441868537]
  我々はOpen FinLLM Leaderboardをベンチマークとして基礎モデルを微調整した。 我々は、金融能力を高めるために、教師付き微調整(SFT)、直接選好最適化(DPO)、強化学習(RL)などの手法を採用した。
  論文  参考訳（メタデータ） (2025-04-17T17:42:02Z)
• FinMTEB: Finance Massive Text Embedding Benchmark [18.990655668481075]
  金融分野向けに設計されたMTEBに特化して開発されたFinMTEB(FinMTEB)について紹介する。 FinMTEBは、7つのタスクにまたがる64の金融ドメイン固有の埋め込みデータセットで構成されている。 1)汎用ベンチマークのパフォーマンスは,金融ドメインタスクとの相関が限定されていること,(2)ドメイン適応モデルの方が汎用タスクより一貫して優れていること,(3)意外なことに,単純なBag-of-Wordsアプローチは,金融セマンティックテクスチャ類似タスクにおける高度に密着した埋め込みよりも優れていること,の3つの重要な結果を示す。
  論文  参考訳（メタデータ） (2025-02-16T04:23:52Z)
• Fino1: On the Transferability of Reasoning Enhanced LLMs to Finance [32.516564836540745]
  大規模言語モデル(LLM)は、強力な一般的な推論能力を示しているが、財務的推論におけるその効果はいまだに解明されていない。 我々は,4つの複雑な財務推論タスクにおいて,24の最先端の一般および推論に焦点を当てたLCMを評価した。 本稿では,Fino1-8BとFinoBの2つのドメイン適応モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-12T05:13:04Z)
• Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications [88.96861155804935]
  オープンソースのマルチモーダル金融 LLM である textitOpen-FinLLMs を紹介する。 FinLLaMAは52ビリオンのトーケンコーパス、FinLLaMA-Instructは573Kの財務命令で微調整され、FinLLaVAは1.43Mのマルチモーダルチューニングペアで強化されている。 我々は、14の財務タスク、30のデータセット、および4つのマルチモーダルタスクにわたるOpen-FinLLMをゼロショット、少数ショット、教師付き微調整設定で評価した。
  論文  参考訳（メタデータ） (2024-08-20T16:15:28Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。