論文の概要: Model Balancing Helps Low-data Training and Fine-tuning

• arxiv url: http://arxiv.org/abs/2410.12178v1
• Date: Wed, 16 Oct 2024 02:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:44:12.927152
• Title: Model Balancing Helps Low-data Training and Fine-tuning
• Title（参考訳）: 低データのトレーニングと微調整を支援するモデルバランシング
• Authors: Zihang Liu, Yuanzhe Hu, Tianyu Pang, Yefan Zhou, Pu Ren, Yaoqing Yang,
• Abstract要約: 基礎モデルの最近の進歩は、事前訓練されたモデルを専門分野と整合させる必要性を強調している。 これらのトピックは、科学機械学習(SciML)の新興分野においても注目を集めている。 低データトレーニングと微調整の限界に対処するため、重機自己正規化(HT-SR)理論からインスピレーションを得た。 我々は最近提案されたレイヤーワイド学習率スケジューラであるTempBalanceに適応し、レイヤー間のトレーニング品質を効果的にバランスさせる。
• 参考スコア（独自算出の注目度）: 19.63134953504884
• License:
• Abstract: Recent advances in foundation models have emphasized the need to align pre-trained models with specialized domains using small, curated datasets. Studies on these foundation models underscore the importance of low-data training and fine-tuning. This topic, well-known in natural language processing (NLP), has also gained increasing attention in the emerging field of scientific machine learning (SciML). To address the limitations of low-data training and fine-tuning, we draw inspiration from Heavy-Tailed Self-Regularization (HT-SR) theory, analyzing the shape of empirical spectral densities (ESDs) and revealing an imbalance in training quality across different model layers. To mitigate this issue, we adapt a recently proposed layer-wise learning rate scheduler, TempBalance, which effectively balances training quality across layers and enhances low-data training and fine-tuning for both NLP and SciML tasks. Notably, TempBalance demonstrates increasing performance gains as the amount of available tuning data decreases. Comparative analyses further highlight the effectiveness of TempBalance and its adaptability as an "add-on" method for improving model performance.
• Abstract（参考訳）: 基礎モデルの最近の進歩は、訓練済みのモデルを、小さなキュレートされたデータセットを使用して専門のドメインと整合させる必要性を強調している。 これらの基礎モデルの研究は、低データトレーニングと微調整の重要性を強調している。 この話題は自然言語処理(NLP)でよく知られており、科学機械学習(SciML)の新興分野においても注目を集めている。 低データトレーニングと微調整の限界に対処するため,我々はヘビータイド自己規則化(HT-SR)理論からインスピレーションを得て,経験的スペクトル密度(ESD)の形状を分析し,異なるモデル層間のトレーニング品質の不均衡を明らかにする。 この問題を緩和するために、最近提案された階層学習率スケジューラであるTempBalanceを適用し、レイヤ間のトレーニング品質を効果的にバランスさせ、NLPおよびSciMLタスクの低データトレーニングと微調整を強化する。 特にTempBalanceは、利用可能なチューニングデータの量が減少するにつれて、パフォーマンスの向上を示す。 比較分析により,TempBalanceの有効性とモデル性能向上のための"アドオン"手法としての適応性をさらに強調した。

関連論文リスト

• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• GPTA: Generative Prompt Tuning Assistant for Synergistic Downstream Neural Network Enhancement with LLMs [11.572835837392867]
  本研究はGPTA(Large Language Model assistance training framework)を導入し,プレフィックスプロンプトによる下流タスクモデルのトレーニングを強化する。 LLMのデータ露出を最小限にすることで、下流タスクモデルトレーニングにLLMを適用する際のセキュリティと法的課題に対処する。
  論文  参考訳（メタデータ） (2024-03-29T23:04:04Z)
• Bias Mitigation in Fine-tuning Pre-trained Models for Enhanced Fairness and Efficiency [26.86557244460215]
  新しいタスクにおけるバイアスを軽減するために特別に設計された、効率的で堅牢な微調整フレームワークを導入します。 我々の経験的分析は、異なる人口集団の予測に影響を与える事前学習モデルのパラメータが異なることを示している。 我々は、人口集団間でフィッシャー情報を用いて決定された、これらの影響力のある重みの重要性を中和する伝達学習戦略を採用している。
  論文  参考訳（メタデータ） (2024-03-01T16:01:28Z)
• Order Matters in the Presence of Dataset Imbalance for Multilingual Learning [53.74649778447903]
  本稿では,高リソースタスクの事前学習をシンプルかつ効果的に行う方法と,高リソースタスクと低リソースタスクの混合による微調整について述べる。 ニューラルネットワーク翻訳(NMT)と多言語言語モデリングの改善について述べる。
  論文  参考訳（メタデータ） (2023-12-11T05:46:57Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• CATfOOD: Counterfactual Augmented Training for Improving Out-of-Domain Performance and Calibration [59.48235003469116]
  データの増大はOOD性能を継続的に向上させることを示す。 また, CF拡張モデルのキャリブレーションが容易な場合, 重要度を割り当てる場合, エントロピーがはるかに低いことを示す。
  論文  参考訳（メタデータ） (2023-09-14T16:16:40Z)
• Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
  長い尾の分布に従うデータセットの逆トレーニングについて検討する。 我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
  論文  参考訳（メタデータ） (2023-07-14T07:01:48Z)
• Rethinking Soft Label in Label Distribution Learning Perspective [0.27719338074999533]
  初期の畳み込みニューラルネットワーク(CNN)におけるトレーニングの第一の目的は、モデルのより高度な一般化性能である。 CNNトレーニングにおいてラベル分布学習(LDL)を行うことで,モデルの校正が促進されることを示した。 我々はいくつかの可視化と分析を行い、LCLを用いたCNNトレーニングでいくつかの興味深い振る舞いを目撃した。
  論文  参考訳（メタデータ） (2023-01-31T06:47:19Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。