論文の概要: The Construction of Instruction-tuned LLMs for Finance without Instruction Data Using Continual Pretraining and Model Merging
- arxiv url: http://arxiv.org/abs/2409.19854v1
- Date: Mon, 30 Sep 2024 01:23:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 17:19:55.587649
- Title: The Construction of Instruction-tuned LLMs for Finance without Instruction Data Using Continual Pretraining and Model Merging
- Title（参考訳）: 継続事前学習とモデルマージによる指導データのない金融用授業調整LDMの構築
- Authors: Masanori Hirano, Kentaro Imajo,
- Abstract要約: 本稿では,命令データなしでファイナンスのための命令調整型大規模言語モデル(LLM)を構築するための新しい手法を提案する。
本手法は,ドメイン固有の事前学習とモデルマージを組み合わせる。
提案手法の主な利点の1つは、命令調整およびドメイン固有の事前学習ベクトルがほぼ独立であることである。
- 参考スコア（独自算出の注目度）: 1.4491649618823355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a novel method for constructing instruction-tuned large language models (LLMs) for finance without instruction data. Traditionally, developing such domain-specific LLMs has been resource-intensive, requiring a large dataset and significant computational power for continual pretraining and instruction tuning. Our study proposes a simpler approach that combines domain-specific continual pretraining with model merging. Given that general-purpose pretrained LLMs and their instruction-tuned LLMs are often publicly available, they can be leveraged to obtain the necessary instruction task vector. By merging this with a domain-specific pretrained vector, we can effectively create instruction-tuned LLMs for finance without additional instruction data. Our process involves two steps: first, we perform continual pretraining on financial data; second, we merge the instruction-tuned vector with the domain-specific pretrained vector. Our experiments demonstrate the successful construction of instruction-tuned LLMs for finance. One major advantage of our method is that the instruction-tuned and domain-specific pretrained vectors are nearly independent. This independence makes our approach highly effective. The Japanese financial instruction-tuned LLMs we developed in this study are available at https://huggingface.co/pfnet/nekomata-14b-pfn-qfin-inst-merge.
- Abstract（参考訳）: 本稿では,命令データなしでファイナンスのための命令調整型大規模言語モデル(LLM)を構築するための新しい手法を提案する。
伝統的に、そのようなドメイン固有のLLMの開発はリソース集約的であり、継続的な事前訓練と命令チューニングのために大きなデータセットと重要な計算能力を必要とする。
本研究では,ドメイン固有の事前学習とモデルマージを組み合わせた簡易なアプローチを提案する。
汎用的な事前訓練 LLM と命令調整 LLM が一般に公開されていることを考えると、必要な命令タスクベクトルを得るために利用することができる。
これをドメイン固有の事前訓練ベクタとマージすることで、追加の命令データなしで金融のための命令調整型LLMを効果的に作成できる。
まず、金融データに基づいて継続事前訓練を行い、次に、命令調整ベクターとドメイン固有の事前訓練ベクターをマージする。
本実験は,金融のための指導訓練型LLMの構築に成功したことを実証する。
提案手法の主な利点の1つは、命令調整およびドメイン固有の事前学習ベクトルがほぼ独立であることである。
この独立は我々のアプローチを極めて効果的にする。
本研究で開発した LLM は https://huggingface.co/pfnet/nekomata-14b-pfn-qfin-inst-merge で利用可能である。
関連論文リスト
- A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。
本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
論文 参考訳（メタデータ） (2024-10-24T14:31:52Z) - Balancing Continuous Pre-Training and Instruction Fine-Tuning: Optimizing Instruction-Following in LLMs [4.096028601599825]
パブリック使用のための大規模言語モデル(LLM)は、最新のデータと最新の状態を維持するために、継続的な事前トレーニングを必要とする。
本研究では、命令データや微調整を必要とせず、最新の知識と命令追従能力を得るための最も計算効率の良い戦略を見つけることを目的とする。
論文 参考訳（メタデータ） (2024-10-14T17:20:30Z) - Traditional Methods Outperform Generative LLMs at Forecasting Credit Ratings [17.109522466982476]
大規模言語モデル(LLM)は多くの下流タスクでうまく機能することが示されている。
本稿では,企業信用格付け予測におけるLCMの業績について検討する。
論文 参考訳（メタデータ） (2024-07-24T20:30:55Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。
このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。
我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
論文 参考訳（メタデータ） (2024-05-30T09:42:54Z) - LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。
我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。
LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
論文 参考訳（メタデータ） (2023-10-30T14:54:15Z) - Data-Centric Financial Large Language Models [27.464319154543173]
大規模言語モデル(LLM)は自然言語のタスクを約束するが、金融のような複雑なドメインに直接適用した場合に苦労する。
我々は、LLMが金融業務をよりうまく扱えるようにするために、データ中心のアプローチを提案する。
論文 参考訳（メタデータ） (2023-10-07T04:53:31Z) - Large Language Models in Finance: A Survey [12.243277149505364]
大規模言語モデル(LLM)は、金融における人工知能応用の新しい可能性を開いた。
大規模言語モデル(LLM)の最近の進歩は、金融における人工知能応用の新しい可能性を開いた。
論文 参考訳（メタデータ） (2023-09-28T06:04:04Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳（メタデータ） (2023-05-19T12:10:53Z) - Towards Building the Federated GPT: Federated Instruction Tuning [66.7900343035733]
本稿では,大規模言語モデル(LLM)の命令チューニングのための学習フレームワークとして,FedIT(Federated Instruction Tuning)を紹介する。
我々は,FedITを用いてクライアントの終端における多種多様な命令セットを活用することにより,ローカル命令のみを限定した集中学習に比べ,LLMの性能を向上させることを実証した。
論文 参考訳（メタデータ） (2023-05-09T17:42:34Z) - Knowledge Inheritance for Pre-trained Language Models [57.51305807391381]
我々は「知識継承(KI)」という新しい事前学習フレームワークを導入する。
KIは、自己学習と教師指導の両方を組み合わせて、より大きなPLMを効率的に訓練する。
KIは生涯学習と知識伝達を十分に支援できることを示す。
論文 参考訳（メタデータ） (2021-05-28T14:43:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。