Fugu-MT 論文翻訳(概要): Mixing It Up: The Cocktail Effect of Multi-Task Fine-Tuning on LLM Performance -- A Case Study in Finance

論文の概要: Mixing It Up: The Cocktail Effect of Multi-Task Fine-Tuning on LLM Performance -- A Case Study in Finance

arxiv url: http://arxiv.org/abs/2410.01109v1
Date: Tue, 1 Oct 2024 22:35:56 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 23:10:15.050144
Title: Mixing It Up: The Cocktail Effect of Multi-Task Fine-Tuning on LLM Performance -- A Case Study in Finance
Title（参考訳）: 混在:マルチタスクファインチューニングがLLM性能に及ぼす影響-財務のケーススタディ
Authors: Meni Brief, Oded Ovadia, Gil Shenderovitz, Noga Ben Yoash, Rachel Lemberg, Eitam Sheetrit,
Abstract要約: 金融を含むドメイン固有の文脈における大規模言語モデル(LLM)の適用について検討する。ターゲットタスクのみを微調整することが、必ずしも最も効果的な戦略であるとは限らない。代わりに、マルチタスクの微調整はパフォーマンスを大幅に向上させる。
参考スコア（独自算出の注目度）: 0.32985979395737774
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: The application of large language models (LLMs) in domain-specific contexts, including finance, has expanded rapidly. Domain-specific LLMs are typically evaluated based on their performance in various downstream tasks relevant to the domain. In this work, we present a detailed analysis of fine-tuning LLMs for such tasks. Somewhat counterintuitively, we find that in domain-specific cases, fine-tuning exclusively on the target task is not always the most effective strategy. Instead, multi-task fine-tuning - where models are trained on a cocktail of related tasks - can significantly enhance performance. We demonstrate how this approach enables a small model, such as Phi-3-Mini, to achieve state-of-the-art results, even surpassing the much larger GPT-4-o model on financial benchmarks. Our study involves a large-scale experiment, training over 200 models using several widely adopted LLMs as baselines, and empirically confirms the benefits of multi-task fine-tuning. Additionally, we explore the use of general instruction data as a form of regularization, suggesting that it helps minimize performance degradation. We also investigate the inclusion of mathematical data, finding improvements in numerical reasoning that transfer effectively to financial tasks. Finally, we note that while fine-tuning for downstream tasks leads to targeted improvements in task performance, it does not necessarily result in broader gains in domain knowledge or complex domain reasoning abilities.
Abstract（参考訳）: 金融を含むドメイン固有の文脈における大規模言語モデル(LLM)の適用は急速に拡大している。通常、ドメイン固有のLCMは、そのドメインに関連する様々な下流タスクのパフォーマンスに基づいて評価される。本稿では,そのようなタスクに対する微調整LDMの詳細な解析について述べる。いずれにせよ、ドメイン固有のケースでは、ターゲットタスクのみを微調整することが、必ずしも最も効果的な戦略であるとは限らない。代わりに、マルチタスクの微調整 — 関連するタスクのカクテルでモデルをトレーニングする — によって、パフォーマンスが大幅に向上する可能性がある。我々は、Phi-3-Miniのような小さなモデルが、金融ベンチマークにおいてはるかに大きなGPT-4-oモデルを超えながら、最先端の結果を達成する方法を実証する。本研究は,大規模実験,広範に採用されているLLMをベースラインとして200モデル以上をトレーニングし,マルチタスクファインチューニングのメリットを実証的に確認する。さらに,正規化の形式としての汎用命令データの利用についても検討し,性能劣化の最小化に寄与することが示唆された。また, 数学的データを含むこと, 経済的タスクに効果的に移行する数値推論の改善について検討する。最後に、下流タスクの微調整はタスクのパフォーマンスを目標とする改善につながるが、必ずしもドメイン知識や複雑なドメイン推論能力がより広範に向上するとは限らないことに留意する。

関連論文リスト

A Comparative Analysis of Instruction Fine-Tuning LLMs for Financial Text Classification [0.8192907805418583]
大きな言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクにまたがる印象的な機能を示している。本研究は,財務テキスト分類作業における指導用微調整の有効性について検討した。
論文参考訳（メタデータ） (2024-11-04T18:06:36Z)
MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
論文参考訳（メタデータ） (2024-10-12T08:32:26Z)
Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
論文参考訳（メタデータ） (2024-10-10T12:41:19Z)
Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
論文参考訳（メタデータ） (2024-09-03T07:01:46Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
論文参考訳（メタデータ） (2024-06-17T10:12:45Z)
Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
論文参考訳（メタデータ） (2024-03-14T08:18:59Z)
Fair Resource Allocation in Multi-Task Learning [12.776767874217663]
マルチタスク学習(MTL)はタスク間の共有知識を活用でき、データ効率と一般化性能が向上する。 MTLにおける大きな課題は、いくつかのタスクの公平な最適化を妨げる、矛盾する勾配の存在にある。通信ネットワークにおける公平なリソース割り当てに着想を得て,新しいMTL最適化法であるFairGradを提案する。
論文参考訳（メタデータ） (2024-02-23T22:46:14Z)
Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文参考訳（メタデータ） (2024-01-02T14:18:11Z)
Multi-Task Cooperative Learning via Searching for Flat Minima [8.835287696319641]
本稿では,MTLを多段最適化問題として定式化し,各タスクから協調的なアプローチで特徴を学習させることを提案する。具体的には、他のタスクの学習したサブモデルを利用する代わりに、各タスクのサブモデルを更新する。最適化時の負の伝達問題を緩和するため、現在の目的関数に対する平坦な最小値を求める。
論文参考訳（メタデータ） (2023-09-21T14:00:11Z)
Equitable Multi-task Learning [18.65048321820911]
マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。本稿では,EMTLという新しいマルチタスク最適化手法を提案する。本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
論文参考訳（メタデータ） (2023-06-15T03:37:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。