論文の概要: Demystifying Domain-adaptive Post-training for Financial LLMs

• arxiv url: http://arxiv.org/abs/2501.04961v2
• Date: Wed, 12 Feb 2025 04:52:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:47:22.679342
• Title: Demystifying Domain-adaptive Post-training for Financial LLMs
• Title（参考訳）: 金融LLMのためのドメイン適応ポストトレーニングのデミスティフィケーション
• Authors: Zixuan Ke, Yifei Ming, Xuan-Phi Nguyen, Caiming Xiong, Shafiq Joty,
• Abstract要約: FINDAPは、大規模言語モデル(LLM)のドメイン適応後学習に関する体系的できめ細かな研究である このアプローチは、FinCap、FinRec、FinTrain、FinEvalの4つの重要なコンポーネントで構成されています。 結果として得られるモデルであるLlama-Finは、幅広い財務タスクで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 79.581577578952
• License:
• Abstract: Domain-adaptive post-training of large language models (LLMs) has emerged as a promising approach for specialized domains such as medicine and finance. However, significant challenges remain in identifying optimal adaptation criteria and training strategies across varying data and model configurations. To address these challenges, we introduce FINDAP, a systematic and fine-grained investigation into domain adaptive post-training of LLMs for the finance domain. Our approach consists of four key components: FinCap, which defines the core capabilities required for the target domain; FinRec, an effective training recipe that jointly optimizes continual pre-training and instruction-following, along with a novel preference data distillation method leveraging process signals from a generative reward model; FinTrain, a curated set of training datasets supporting FinRec; and FinEval, a comprehensive evaluation suite aligned with FinCap. The resulting model, Llama-Fin, achieves state-of-the-art performance across a wide range of financial tasks. Our analysis also highlights how each post-training stage contributes to distinct capabilities, uncovering specific challenges and effective solutions, providing valuable insights for domain adaptation of LLMs.
• Abstract（参考訳）: 医学や金融といった専門分野において,大規模言語モデル(LLM)のドメイン適応後トレーニングが有望なアプローチとして現れている。 しかし、様々なデータやモデル構成にまたがる最適な適応基準とトレーニング戦略の特定には、大きな課題が残っている。 これらの課題に対処するために、金融分野におけるLLMのドメイン適応後トレーニングに関する体系的かつきめ細かな調査であるFINDAPを紹介する。 提案手法は,対象ドメインに必要なコア機能を定義するFinCap,継続事前学習と命令追従を共同で最適化する効果的なトレーニングレシピであるFinRec,生成報酬モデルからのプロセス信号を活用する新たな嗜好データ蒸留手法であるFinTrain,FinRecをサポートするトレーニングデータセットのキュレートされたセットであるFinTrain,FinRecと連携した総合的な評価スイートであるFinEvalの4つの主要コンポーネントから構成される。 結果として得られるモデルであるLlama-Finは、幅広い財務タスクで最先端のパフォーマンスを達成する。 我々の分析は、各ポストトレーニング段階がそれぞれの能力にどのように貢献するかを強調し、特定の課題と効果的な解決策を明らかにし、LLMのドメイン適応に貴重な洞察を提供する。

関連論文リスト

• FLAG-Trader: Fusion LLM-Agent with Gradient-based Reinforcement Learning for Financial Trading [28.57263158928989]
  大規模言語モデル(LLM)は、マルチモーダルな財務データに基づいて微調整されている。 言語処理(LLM)と勾配駆動強化学習(RL)ポリシーの最適化を統合した統一アーキテクチャであるtextscFLAG-Traderを提案する。
  論文  参考訳（メタデータ） (2025-02-17T04:45:53Z)
• SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models [6.639972934967109]
  大規模言語モデル (LLM) は、金融業界において自然言語処理を推進するための強力なツールとなっている。 SNFinLLMという中国の金融ドメイン向けに設計された新しい大規模言語モデルを提案する。 SNFinLLMは、質問への回答、財務調査レポートの要約、感情の分析、財務計算の実行など、ドメイン固有のタスクに優れています。
  論文  参考訳（メタデータ） (2024-08-05T08:24:24Z)
• AlphaFin: Benchmarking Financial Analysis with Retrieval-Augmented Stock-Chain Framework [48.3060010653088]
  我々はAlphaFinデータセットをリリースし、従来の研究データセット、リアルタイム財務データ、手書きのチェーン・オブ・プリート(CoT)データを組み合わせています。 次に、AlphaFinデータセットを使用して、金融分析タスクを効果的に処理するために、Stock-Chainと呼ばれる最先端の手法をベンチマークします。
  論文  参考訳（メタデータ） (2024-03-19T09:45:33Z)
• Fine-tuning and Utilization Methods of Domain-specific LLMs [0.0]
  本研究では,ドメイン固有LLMの微調整と活用のアプローチについて検討する。 データセットの選択、前処理、モデルの選択、金融におけるLLMの微調整に不可欠な考慮について詳述する。 本研究は、金融分野におけるLLMの可能性を探り、限界を特定し、改善の方向性を提案する。
  論文  参考訳（メタデータ） (2024-01-01T06:22:04Z)
• EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data [67.8302955948861]
  大規模コーパスで事前訓練された大規模言語モデル(LLM)は、様々なNLPタスクにおいて顕著な性能を示した。 これらのモデルを特定のドメインに適用しても、ドメイン知識の欠如など、大きな課題が生じる。 我々は、Eコマースドメインを例として用いたLLMのドメイン固有の継続事前学習に焦点を当てた。
  論文  参考訳（メタデータ） (2023-12-25T11:31:47Z)
• Efficient Continual Pre-training for Building Domain Specific Large Language Models [8.799785664150255]
  大規模言語モデル(LLM)は、驚くべきオープンドメイン機能を示している。 伝統的に、ドメイン用に調整されたLLMは、ドメイン固有のタスクを扱うために、ゼロから訓練される。 ファイナンシャルドメイン上でのドメイン適応型継続事前トレーニングにより開発されたFinPythia-6.9Bを紹介する。
  論文  参考訳（メタデータ） (2023-11-14T21:19:14Z)
• Large Language Models in Finance: A Survey [12.243277149505364]
  大規模言語モデル(LLM)は、金融における人工知能応用の新しい可能性を開いた。 大規模言語モデル(LLM)の最近の進歩は、金融における人工知能応用の新しい可能性を開いた。
  論文  参考訳（メタデータ） (2023-09-28T06:04:04Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)
• KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
  プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。 知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。 計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-22T08:11:59Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。