論文の概要: Mitigating Training Imbalance in LLM Fine-Tuning via Selective Parameter Merging

• arxiv url: http://arxiv.org/abs/2410.03743v1
• Date: Tue, 1 Oct 2024 08:44:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 20:18:28.485633
• Title: Mitigating Training Imbalance in LLM Fine-Tuning via Selective Parameter Merging
• Title（参考訳）: LLMファインチューニングにおける選択パラメータマージによるトレーニング不均衡の緩和
• Authors: Yiming Ju, Ziyi Ni, Xingrun Xing, Zhixiong Zeng, hanyu Zhao, Siqi Fan, Zheng Zhang,
• Abstract要約: 大型言語モデル(LLM)を特定のタスクに適応させるためには、SFT(Supervised Fine-tuning)が不可欠である。 本稿では,SFTモデルとデータ順序の微調整を併用することにより,この不均衡を軽減することを提案する。
• 参考スコア（独自算出の注目度）: 11.223074654129915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised fine-tuning (SFT) is crucial for adapting Large Language Models (LLMs) to specific tasks. In this work, we demonstrate that the order of training data can lead to significant training imbalances, potentially resulting in performance degradation. Consequently, we propose to mitigate this imbalance by merging SFT models fine-tuned with different data orders, thereby enhancing the overall effectiveness of SFT. Additionally, we introduce a novel technique, "parameter-selection merging," which outperforms traditional weighted-average methods on five datasets. Further, through analysis and ablation studies, we validate the effectiveness of our method and identify the sources of performance improvements.
• Abstract（参考訳）: 大型言語モデル(LLM)を特定のタスクに適応させるためには、SFT(Supervised Fine-tuning)が不可欠である。 本研究は,トレーニングデータの順序がトレーニングの不均衡を著しく引き起こし,性能劣化を引き起こす可能性を実証する。 そこで本研究では,SFTモデルとデータ順序の微調整を併用することにより,この不均衡を緩和し,SFTの全体的な効果を高めることを提案する。 さらに,従来の重み付き平均値法を5つのデータセットで上回る「パラメータ選択マージ」という新しい手法を導入する。 さらに,分析およびアブレーション研究を通じて,本手法の有効性を検証し,性能改善の源泉を同定する。

関連論文リスト

• Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement [0.7558576228782637]
  我々は、効率的なソースフリードメイン適応(SFDA)のためのフレームワークを提案する。 提案手法は,ソースモデル作成およびターゲット側適応のための改良されたパラダイムを導入する。 我々は,本フレームワークが様々なSFDA法と互換性があり,計算効率が高いことを実証した。
  論文  参考訳（メタデータ） (2024-10-03T02:12:03Z)
• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• Order Matters in the Presence of Dataset Imbalance for Multilingual Learning [53.74649778447903]
  本稿では,高リソースタスクの事前学習をシンプルかつ効果的に行う方法と,高リソースタスクと低リソースタスクの混合による微調整について述べる。 ニューラルネットワーク翻訳(NMT)と多言語言語モデリングの改善について述べる。
  論文  参考訳（メタデータ） (2023-12-11T05:46:57Z)
• LoBaSS: Gauging Learnability in Supervised Fine-tuning Data [64.27898739929734]
  Supervised Fine-Tuning (SFT) は、Large Language Models (LLM) を特定のタスクの前提条件に合わせる上で重要なフェーズである。 SFTデータ選択における新しい次元:学習可能性について紹介する。 そこで我々はLoss Based SFT Data Selection (LoBaSS) 法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T07:26:24Z)
• Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
  大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。 重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
  論文  参考訳（メタデータ） (2023-09-15T16:29:27Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• Rethink the Effectiveness of Text Data Augmentation: An Empirical Analysis [4.771833920251869]
  我々は,7つの異なるNLPタスクの配列にまたがるバックトランスレーションと共役する3種類のFT手法の有効性を評価する。 以上の結果から,強化データによる事前学習が,下流タスクのFT性能を効果的に向上させることが明らかとなった。 我々の発見は、LMのパフォーマンスを高める強力なツールとして、DAの可能性を強調します。
  論文  参考訳（メタデータ） (2023-06-13T10:14:58Z)
• Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques for LLMs [1.867982979635437]
  各種PEFT手法のベンチマークを行い、異なるデータスケールでモデル性能を評価する。 一般的な信念とは対照的に、PEFT手法は低データシナリオにおいて完全なチューニングよりも遅く収束することを実証的に証明する。 さらに,モデルのどの部分を訓練するかを選択的に選択することで,これらのPEFT手法をさらに最適化する。
  論文  参考訳（メタデータ） (2023-04-28T17:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。