論文の概要: FinLoRA: Benchmarking LoRA Methods for Fine-Tuning LLMs on Financial Datasets

• arxiv url: http://arxiv.org/abs/2505.19819v1
• Date: Mon, 26 May 2025 10:58:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.3699
• Title: FinLoRA: Benchmarking LoRA Methods for Fine-Tuning LLMs on Financial Datasets
• Title（参考訳）: FinLoRA:財務データに基づく微調整LDMのためのLoRA手法のベンチマーク
• Authors: Dannong Wang, Jaisal Patel, Daochen Zha, Steve Y. Yang, Xiao-Yang Liu,
• Abstract要約: ローランク適応法 (LoRA) は, 事前訓練された汎用大言語モデルの拡張可能性を示す。 我々は、LoRAメソッドを一般および高度に専門的な財務タスクの両方でベンチマークするオープンソースのFinLoRAプロジェクトについて紹介する。
• 参考スコア（独自算出の注目度）: 26.856956855405542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) methods show great potential for scaling pre-trained general-purpose Large Language Models (LLMs) to hundreds or thousands of use scenarios. However, their efficacy in high-stakes domains like finance is rarely explored, e.g., passing CFA exams and analyzing SEC filings. In this paper, we present the open-source FinLoRA project that benchmarks LoRA methods on both general and highly professional financial tasks. First, we curated 19 datasets covering diverse financial applications; in particular, we created four novel XBRL analysis datasets based on 150 SEC filings. Second, we evaluated five LoRA methods and five base LLMs. Finally, we provide extensive experimental results in terms of accuracy, F1, and BERTScore and report computational cost in terms of time and GPU memory during fine-tuning and inference stages. We find that LoRA methods achieved substantial performance gains of 36\% on average over base models. Our FinLoRA project provides an affordable and scalable approach to democratize financial intelligence to the general public. Datasets, LoRA adapters, code, and documentation are available at https://github.com/Open-Finance-Lab/FinLoRA
• Abstract（参考訳）: 低ランク適応(LoRA)法は、事前訓練された汎用大規模言語モデル(LLM)を数百から数千のユースケースに拡張する大きな可能性を示している。 しかし、金融のような高額な分野におけるそれらの効力は、例えばCFA試験に合格し、SECの提出書類を分析するなど、滅多に調査されていない。 本稿では,LoRAの手法を一般業務と高度業務の両方でベンチマークする,オープンソースのFinLoRAプロジェクトについて述べる。 まず、さまざまな金融アプリケーションをカバーする19のデータセットをキュレートしました。特に、150 SECの申請に基づいて、4つの新しいXBRL分析データセットを作成しました。 第2に, 5つの LoRA 法と 5 つの基本 LLM の評価を行った。 最後に,F1 と BERTScore の精度に関する広範な実験結果を提供し,微調整および推論段階における時間・GPUメモリの計算コストを報告する。 その結果,LoRA法は平均オーバーベースモデルで36倍の性能向上を達成した。 当社のFinLoRAプロジェクトは、金融インテリジェンスを一般大衆に民主化するための、安価でスケーラブルなアプローチを提供します。 Datasets、LoRAアダプタ、コード、ドキュメントはhttps://github.com/Open-Finance-Lab/FinLoRAで入手できる。

関連論文リスト

• LLMs Meet Finance: Fine-Tuning Foundation Models for the Open FinLLM Leaderboard [4.629032441868537]
  我々はOpen FinLLM Leaderboardをベンチマークとして基礎モデルを微調整した。 我々は、金融能力を高めるために、教師付き微調整(SFT)、直接選好最適化(DPO)、強化学習(RL)などの手法を採用した。
  論文  参考訳（メタデータ） (2025-04-17T17:42:02Z)
• DAPO: An Open-Source LLM Reinforcement Learning System at Scale [63.24798333145823]
  我々は,Qwen2.5-32Bベースモデルを用いて,AIME 2024上で50ポイントを達成できる最先端の大規模RLシステムをオープンソース化した。 さらに,verlフレームワーク上に構築されたトレーニングコードと,慎重にキュレートされた,処理されたデータセットもオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-03-18T17:49:06Z)
• Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications [88.96861155804935]
  オープンソースのマルチモーダル金融 LLM である textitOpen-FinLLMs を紹介する。 FinLLaMAは52ビリオンのトーケンコーパス、FinLLaMA-Instructは573Kの財務命令で微調整され、FinLLaVAは1.43Mのマルチモーダルチューニングペアで強化されている。 我々は、14の財務タスク、30のデータセット、および4つのマルチモーダルタスクにわたるOpen-FinLLMをゼロショット、少数ショット、教師付き微調整設定で評価した。
  論文  参考訳（メタデータ） (2024-08-20T16:15:28Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• FinGPT: Democratizing Internet-scale Data for Financial Large Language Models [35.83244096535722]
  大型言語モデル (LLM) は、人間に似たテキストの理解と生成に顕著な熟練性を示した。 ファイナンシャル・ジェネレーティブ・プレトレーニング・トランスフォーマー(FinGPT)は、インターネット上の34の多様なソースからリアルタイムの財務データの収集とキュレーションを自動化する。 FinGPTは、FinLLMを民主化し、イノベーションを刺激し、オープンファイナンスにおける新たな機会を開放することを目指している。
  論文  参考訳（メタデータ） (2023-07-19T22:43:57Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)
• BloombergGPT: A Large Language Model for Finance [42.73350054822628]
  我々は、幅広い財務データに基づいて訓練された500億のパラメータ言語モデルであるBloombergGPTを提示する。 Bloombergの広範囲なデータソースに基づいて,汎用データセットから345億のトークンを付加した,363億のトークンデータセットを構築しました。 我々の混合データセットトレーニングは、財務タスクにおける既存のモデルをかなりのマージンで上回るモデルにつながります。
  論文  参考訳（メタデータ） (2023-03-30T17:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。