論文の概要: RankAdaptor: Hierarchical Rank Allocation for Efficient Fine-Tuning Pruned LLMs via Performance Model

• arxiv url: http://arxiv.org/abs/2406.15734v2
• Date: Mon, 16 Dec 2024 08:19:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:52:49.381237
• Title: RankAdaptor: Hierarchical Rank Allocation for Efficient Fine-Tuning Pruned LLMs via Performance Model
• Title（参考訳）: RankAdaptor:性能モデルによる高効率微調整LDMのための階層的ランクアロケーション
• Authors: Changhai Zhou, Shijie Han, Lining Yang, Yuhua Zhou, Xu Cheng, Yibin Wang, Hongguang Li,
• Abstract要約: そこで我々は,階層的なランクアロケーション手法であるRancedAdaptorを紹介した。 RankAdaptorは、様々なプルーニング設定やLLMアーキテクチャにおいて、最先端のメソッドよりも一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 4.926801686932735
• License:
• Abstract: The efficient compression of large language models (LLMs) has become increasingly popular. However, recovering the performance of compressed LLMs remains a major challenge. The current practice in LLM compression entails the implementation of structural pruning, complemented by a recovery phase that leverages the Low-Rank Adaptation (LoRA) algorithm. Structural pruning's uneven modification of model architecture, coupled with standard LoRA's fixed configuration allocation across layers in an online pipeline, leads to suboptimal performance in various downstream tasks for pruned models. To address this challenge, we introduce RankAdaptor, a hierarchical rank allocation method that enables efficient fine-tuning of pruned LLMs according to layerwise specific recovery requirements. We employ a performance model that conducts offline meta-learning and online incremental learning to explore optimal rank values for each layer. Comprehensive experiments on popular benchmarks show that RankAdaptor consistently outperforms state-of-the-art methods across a variety of pruning settings and LLM architectures, with improvements ranging from 0.7\% to 5.5\%.
• Abstract（参考訳）: 大規模言語モデル(LLM)の効率的な圧縮は、ますます人気が高まっている。 しかし, 圧縮LDMの性能回復は依然として大きな課題である。 LLM圧縮における現在の実践は、Low-Rank Adaptation (LoRA)アルゴリズムを利用するリカバリフェーズによって補完される構造的プルーニングの実装を必要とする。 構造的プルーニングによるモデルアーキテクチャの不均一な変更は、オンラインパイプライン内のレイヤ間での標準のLoRAの固定構成割り当てと相まって、プルーニングされたモデルに対する様々な下流タスクにおいて、最適なパフォーマンスをもたらす。 この課題に対処するために,階層的なランクアロケーション手法である RankAdaptor を導入する。 オフラインのメタ学習とオンラインのインクリメンタル学習を行うパフォーマンスモデルを用いて、各レイヤの最適なランク値を探索する。 一般的なベンチマークに関する総合的な実験によると、RancAdaptorは様々なプルーニング設定やLLMアーキテクチャで最先端のメソッドを一貫して上回り、改善は0.7\%から5.5\%である。

関連論文リスト

• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。 モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。 提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• SARA: Singular-Value Based Adaptive Low-Rank Adaption [4.135688713311511]
  パラメータ効率のよい微細チューニング(PEFT)手法としてのLoRAは、推論オーバーヘッドを加算しないために広く用いられている。 本研究ではまず,各層の性能とランクの関係をSVDを用いて解析する。 これに基づいてSARA(Singular-Value Based Adaptive Low-Rank Adaption)を設計する。
  論文  参考訳（メタデータ） (2024-08-06T16:39:42Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• Structured Unrestricted-Rank Matrices for Parameter Efficient Fine-tuning [38.80020737321214]
  構造化非制限ランク行列(SURM)に基づく効率的なパラメータ微調整(PEFT)のためのフレームワークを提案する。 SURMは、LoRAの低ランク行列を置換しながら、様々な画像分類タスクにおいて5-7%の精度向上を実現している。 また、GLUEベンチマークでは、アダプタのパラメータ数を最大12倍に削減する(ほぼ品質が低下する)。
  論文  参考訳（メタデータ） (2024-06-25T17:26:05Z)
• LoTR: Low Tensor Rank Weight Adaptation [47.4904143988667]
  大規模言語モデル(LLM)のパラメータ効率向上のための新しいアプローチであるLoTRを導入する。 LoTRはテンソル分解の形でパラメータの勾配更新を表す。 低ランクテンソル表現を持つ層列の同時圧縮により、LoTRはより優れたパラメータ効率をアーカイブできる。
  論文  参考訳（メタデータ） (2024-02-02T13:00:38Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。