論文の概要: LIFT+: Lightweight Fine-Tuning for Long-Tail Learning

• arxiv url: http://arxiv.org/abs/2504.13282v1
• Date: Thu, 17 Apr 2025 18:50:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 20:28:45.763952
• Title: LIFT+: Lightweight Fine-Tuning for Long-Tail Learning
• Title（参考訳）: LIFT+:Long-Tail Learningのための軽量ファインチューニング
• Authors: Jiang-Xin Shi, Tong Wei, Yu-Feng Li,
• Abstract要約: LIFT+は一貫性のあるクラス条件を最適化する革新的な軽量な微調整フレームワークである。 我々のフレームワークは、高速収束とモデルコンパクト化を容易にする効率的で正確なパイプラインを提供する。
• 参考スコア（独自算出の注目度）: 45.187004699024435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The fine-tuning paradigm has emerged as a prominent approach for addressing long-tail learning tasks in the era of foundation models. However, the impact of fine-tuning strategies on long-tail learning performance remains unexplored. In this work, we disclose that existing paradigms exhibit a profound misuse of fine-tuning methods, leaving significant room for improvement in both efficiency and accuracy. Specifically, we reveal that heavy fine-tuning (fine-tuning a large proportion of model parameters) can lead to non-negligible performance deterioration on tail classes, whereas lightweight fine-tuning demonstrates superior effectiveness. Through comprehensive theoretical and empirical validation, we identify this phenomenon as stemming from inconsistent class conditional distributions induced by heavy fine-tuning. Building on this insight, we propose LIFT+, an innovative lightweight fine-tuning framework to optimize consistent class conditions. Furthermore, LIFT+ incorporates semantic-aware initialization, minimalist data augmentation, and test-time ensembling to enhance adaptation and generalization of foundation models. Our framework provides an efficient and accurate pipeline that facilitates fast convergence and model compactness. Extensive experiments demonstrate that LIFT+ significantly reduces both training epochs (from $\sim$100 to $\leq$15) and learned parameters (less than 1%), while surpassing state-of-the-art approaches by a considerable margin. The source code is available at https://github.com/shijxcs/LIFT-plus.
• Abstract（参考訳）: ファウンデーションモデルの時代において、ロングテール学習タスクに対処するための顕著なアプローチとして、微調整パラダイムが登場した。 しかし、細調整戦略が長期学習性能に与える影響は未解明のままである。 本研究は,既存のパラダイムが微調整手法の深い誤用を示し,効率と精度の両面で大きな改善の余地を残していることを開示する。 具体的には、重微調整(モデルパラメータの大部分を微調整)は、テールクラスにおいて非無視的な性能劣化を引き起こすが、軽量微調整は優れた効果を示す。 理論的および経験的検証を通じて,この現象は重微調整によって引き起こされる不整合クラス条件分布から生じるものであると同定した。 この知見に基づいて、一貫したクラス条件を最適化する革新的な軽量微調整フレームワークLIFT+を提案する。 さらに、LIFT+には、セマンティック・アウェアの初期化、最小限のデータ拡張、および基礎モデルの適応と一般化を強化するテスト時間アンサンブルが組み込まれている。 我々のフレームワークは、高速収束とモデルコンパクト化を容易にする効率的で正確なパイプラインを提供する。 大規模な実験では、LIFT+はトレーニングのエポック($\sim$100から$\leq$15)と学習パラメータ(1%未満)の両方を著しく削減し、最先端のアプローチをかなり上回っている。 ソースコードはhttps://github.com/shijxcs/LIFT-plusで入手できる。

関連論文リスト

• HFT: Half Fine-Tuning for Large Language Models [42.60438623804577]
  1つ以上の微調整フェーズを持つ大規模言語モデル(LLM)は、様々な機能をアンロックするために必要なステップとなっている。 本稿では,部分的パラメータを定期的にリセットすることで,LLMが元の知識の一部を復元できることを見出した。 本稿では,LLM 用ハーフファインチューニング (HFT) をフルファインチューニング (FFT) の代替として導入し,忘れる問題を緩和する。
  論文  参考訳（メタデータ） (2024-04-29T07:07:58Z)
• FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental Learning with Hill-Climbing [3.533544633664583]
  EFCIL(Exemplar-free class-incremental Learning)は、主に破滅的な忘れが原因で大きな課題を提起する。 従来のEFCILのアプローチは、連続した微調整や安定性を通じて、プラスチックのモデルに傾くのが一般的である。 本稿では,様々なオーバーサンプリング手法と動的最適化手法の有効性を検討するための基礎的なFeTrILフレームワークを構築した。
  論文  参考訳（メタデータ） (2024-03-12T08:34:05Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Long-Tail Learning with Foundation Model: Heavy Fine-Tuning Hurts [42.693469918949006]
  本稿では,重度微調整がテールクラスの性能劣化の原因となる可能性を明らかにする。 我々は,高速な予測とコンパクトなモデルを実現することを目的として,低複雑さかつ高精度なロングテール学習アルゴリズムLIFTを開発した。
  論文  参考訳（メタデータ） (2023-09-18T17:50:56Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。