論文の概要: LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning

• arxiv url: http://arxiv.org/abs/2506.00772v1
• Date: Sun, 01 Jun 2025 01:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.577843
• Title: LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning
• Title（参考訳）: 正解率の低下にともなう重みの重み
• Authors: Zihang Liu, Tianyu Pang, Oleg Balabanov, Chaoqun Yang, Tianjin Huang, Lu Yin, Yaoqing Yang, Shiwei Liu,
• Abstract要約: LLMの教師付き微調整により、強い推論能力が得られる。 フル微調整(Full FT)は計算コストが高く、過度にフィットしたり忘れたりする可能性がある。 以前大きな成功を収めたスパース微調整は、効率性と有効性の間に有望なトレードオフを提供する。
• 参考スコア（独自算出の注目度）: 32.86747945245703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have shown that supervised fine-tuning of LLMs on a small number of high-quality datasets can yield strong reasoning capabilities. However, full fine-tuning (Full FT), while powerful, is computationally expensive and susceptible to overfitting and catastrophic forgetting, particularly when data is limited. Sparse fine-tuning, which previously achieved notable success by updating only a small subset of model parameters, offers a promising trade-off between efficiency and effectiveness. Yet, it has lagged behind in the LLM era due to the difficulty of identifying parameters truly critical for reasoning. In this work, we state that weights with the largest magnitude after low-rank approximation are critical weights for fine-tuning, which we call Principal Weights. Surprisingly, while magnitude-based sparse fine-tuning performs poorly as a baseline on LLM fine-tuning, it becomes highly effective after rank reduction. These insights motivate our method: Low-rank Informed Sparse Fine-Tuning (LIFT). LIFT only updates the top 5% Principal Weights throughout training and consistently achieves better performance on reasoning tasks than Full FT, while maintaining memory efficiency on par with popular parameter-efficient fine-tuning methods. In addition to strong performance on target domains such as arithmetic reasoning, LIFT also retains up to 20% more source-domain knowledge, compared to Full FT and LoRA. Our code is available at: https://github.com/zihanghliu/LIFT.
• Abstract（参考訳）: 近年の研究では、少数の高品質データセット上でのLLMの微調整が、強力な推論能力をもたらすことが示されている。 しかし、フル微調整(Full FT)は強力だが、計算コストが高く、特にデータが限られている場合、過度に適合し、悲惨な忘れがちである。 モデルパラメータの小さなサブセットだけを更新することで、これまで顕著な成功を収めたスパース微調整は、効率性と有効性の間の有望なトレードオフを提供する。 しかし、推論に本当に重要なパラメータを特定することが困難であったため、LLM時代に遅れを取っている。 この研究では、低ランク近似後の最大級の重みは微調整の重要な重みであり、これを主重みと呼ぶ。 驚くべきことに、等級に基づくスパース微調整はLLM微調整のベースラインとして不十分であるが、ランクの低減後に非常に効果的になる。 これらの知見は我々の手法を動機付けている: 低ランクインフォームドスパースファインタニング(LIFT)。 LIFTはトレーニングを通じて最高5%のプライマリウェイトのみを更新し、一般的なパラメータ効率の高い微調整手法と同等のメモリ効率を維持しながら、フルFTよりも推論タスクのパフォーマンスを継続的に向上させる。 算術的推論などのターゲット領域での強いパフォーマンスに加えて、LIFTはFull FTやLoRAと比較して最大20%のソースドメイン知識も保持している。 私たちのコードは、https://github.com/zihanghliu/LIFT.comで利用可能です。

関連論文リスト

• Parameter-Efficient Fine-Tuning with Column Space Projection [4.379304291229695]
  そこで我々は,微調整重みのスペクトル特性に基づくPEFT法として初めて理論的に確立されたPiCaを提案する。 従来のPEFT法と比較して,PiCaは最先端性能を実現していることを示す。
  論文  参考訳（メタデータ） (2025-05-26T16:52:40Z)
• LIFT+: Lightweight Fine-Tuning for Long-Tail Learning [45.187004699024435]
  LIFT+は一貫性のあるクラス条件を最適化する革新的な軽量な微調整フレームワークである。 我々のフレームワークは、高速収束とモデルコンパクト化を容易にする効率的で正確なパイプラインを提供する。
  論文  参考訳（メタデータ） (2025-04-17T18:50:47Z)
• IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
  IntLoRAは、整数型低ランクパラメータを持つ量子化拡散モデルを適用し、チューニング中に推論効率を含める。 推論中、IntLoRA重みはPTQなしで直接量子化された下流重みを得るために、シームレスに事前訓練された重みにマージすることができる。
  論文  参考訳（メタデータ） (2024-10-29T05:50:17Z)
• NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
  微調整された事前学習モデルは、しばしば最先端のパフォーマンスをもたらすが、全てのパラメータを更新する際に計算コストがかかる。 本稿では,軽量ニューラルネットワークを用いた非線形PEFT手法NEATを提案し,事前学習した重みの非線形変換を学習する。 理論解析により, NEATは等価な表現性を維持しつつ, LoRA よりも高い効率を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-02T17:29:23Z)
• FeDeRA:Efficient Fine-tuning of Language Models in Federated Learning Leveraging Weight Decomposition [7.229494183462913]
  微調整後の例外的なパフォーマンスにもかかわらず、プレトレーニング言語モデル(PLM)はプライバシー上の懸念から重大な課題に直面している。 本論文では,フェデレートラーニング(FL)を微調整PLMとみなす。 1つの有望な解決策はパラメータ効率細調整(PEFT)をFLに活用することであり、完全なパラメータ細調整(FFT)よりもはるかに小さなパラメータセットを訓練する。
  論文  参考訳（メタデータ） (2024-04-29T16:42:26Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。