論文の概要: Low-Rank Interconnected Adaptation Across Layers

• arxiv url: http://arxiv.org/abs/2407.09946v1
• Date: Sat, 13 Jul 2024 17:03:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 20:08:02.908468
• Title: Low-Rank Interconnected Adaptation Across Layers
• Title（参考訳）: 低ランク相互接続型アダプティブ層
• Authors: Yibo Zhong, Yao Zhou,
• Abstract要約: 低ランク適応 (LoRA) はパラメータ効率の良い微調整の代表的な手法の一つである。 本稿では,層間(Lily)における低ランク相互接続適応を提案する。
• 参考スコア（独自算出の注目度）: 6.068296063531189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA), as one of the most well-known representative methods of parameter-efficient fine-tuning, freezes the backbone model and introduces parallel adapter modules to each layer of the model. These modules consist of two low-rank trainable matrices: a low-dimension projector (LP) and a high-dimension projector (HP) with their product approximating the change for updating the model weight. However, LoRA's paired LP and HP per layer limit learned weights to specific features, ignoring the varied information extracted by stacked layers in models like Transformers. By considering the differences between layers and establishing connections across them when learning the weights, we enhance the capture of relevant information for downstream tasks using this interconnected adaptation when fine-tuning. Meanwhile, preserving the unique characteristics of each layer and thus selectively mix the learning traits of various layers according to a specific ratio can also be crucial in certain tasks. In this paper, we propose Low-rank Interconnected adaptation across layers (Lily). Specifically, we retain layer-specific LPs (local LPs) for low-dimensional feature projection and unify all HPs into a model-wide global HP, thereby overcoming layer-specific constraints in LoRA. The global HP, layer-independent, supports multiple HP sub-modules, or inspired by Mixture of Experts (MoE), HP experts capturing learning traits across all layer depths. For the ratio to mix all the experts, we use a router inspired by MoE to selectively adapt the features of different layers, thus obtaining a unique expert distribution. We evaluated Lily on a wide range of downstream tasks and achieved state-of-the-art results, outperforming LoRA and a range of competitive methods. Code will be available at https://github.com/blameitonme1/lily.
• Abstract（参考訳）: 低ランク適応(LoRA)は、パラメータ効率の良い微調整の最もよく知られた方法の一つであり、バックボーンモデルを凍結し、モデルの各層に並列アダプタモジュールを導入する。 これらのモジュールは、低次元プロジェクタ (LP) と高次元プロジェクタ (HP) の2つの低階トレーニング可能な行列で構成され、モデルウェイトを更新するための変更を近似した製品である。 しかし、LoRAのペアLPとHPは、トランスフォーマーのようなモデルで積み重ねられた層によって抽出された様々な情報を無視して、特定の特徴に重みを学習した。 重みを学習する際、層間の違いを考慮し、それら間の接続を確立することにより、微調整時にこの相互対応を用いて下流タスクの関連情報の捕捉を強化する。 一方、各層の特徴を保存し、特定の割合で様々な層の学習特性を選択的に混合することは、特定のタスクにおいても重要である。 本稿では,層間(Lily)における低ランク相互接続適応を提案する。 具体的には、低次元特徴投影のための層特異的LP(ローカルLP)を保持し、全てのHPをモデルワイドグローバルHPに統一することにより、LoRAにおける層特異的制約を克服する。 グローバルなHPは、レイヤに依存しない複数のHPサブモジュールをサポートし、あるいはMixture of Experts (MoE)にインスパイアされたHPの専門家は、すべてのレイヤの深さにわたって学習特性をキャプチャする。 すべての専門家を混ぜ合わせるために、私たちはMoEにインスパイアされたルータを使用して異なるレイヤの特徴を選択的に適応させ、ユニークな専門家分布を得る。 我々は、Lilyを幅広いダウンストリームタスクで評価し、最先端の成果を達成し、LoRAと様々な競争手法を上回りました。 コードはhttps://github.com/blameitonme1/lilyで入手できる。

関連論文リスト

• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• From GaLore to WeLore: How Low-Rank Weights Non-uniformly Emerge from Low-Rank Gradients [86.40635601953446]
  現代大規模言語モデルの様々な層にまたがる低ランク構造の出現について検討する。 WeLore(Weight Low-Rank Projection)を提案する。
  論文  参考訳（メタデータ） (2024-07-15T21:05:20Z)
• Flora: Low-Rank Adapters Are Secretly Gradient Compressors [30.224822087562163]
  低ランク適応(LoRA)は、少ないパラメータをトレーニングすることで最適化状態を低減するために提案される。 LoRAは全体の重量更新行列を低ランクに制限し、モデル性能を制限している。 本稿では,プロジェクション行列を再サンプリングすることで高階更新を実現する Flora を提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:50:39Z)
• LoTR: Low Tensor Rank Weight Adaptation [47.4904143988667]
  大規模言語モデル(LLM)のパラメータ効率向上のための新しいアプローチであるLoTRを導入する。 LoTRはテンソル分解の形でパラメータの勾配更新を表す。 低ランクテンソル表現を持つ層列の同時圧縮により、LoTRはより優れたパラメータ効率をアーカイブできる。
  論文  参考訳（メタデータ） (2024-02-02T13:00:38Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• A Lightweight and Gradient-Stable Neural Layer [3.8263760833282148]
  世帯重み付けと絶対値活性化に基づく神経層アーキテクチャを提案する。 $d$-neuronsと$d$の出力を持つ完全連結層と比較して、Han層はパラメータの数とそれに対応する計算複雑性を減らす。
  論文  参考訳（メタデータ） (2021-06-08T04:05:30Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。