論文の概要: Low-Rank Interconnected Adaptation across Layers

• arxiv url: http://arxiv.org/abs/2407.09946v2
• Date: Thu, 26 Sep 2024 14:27:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 21:43:45.233912
• Title: Low-Rank Interconnected Adaptation across Layers
• Title（参考訳）: 低ランク層間相互接続型適応
• Authors: Yibo Zhong, Yao Zhou,
• Abstract要約: 低ランク適応(LoRA)は強力なパラメータ効率の微調整法である。 これまでの研究では、LoRAは基本的に勾配圧縮機であり、勾配にランダムな投影を行うことが示されている。 層間(Lily)における低ランク相互接続型適応を提案する。
• 参考スコア（独自算出の注目度）: 6.068296063531189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) is a powerful parameter-efficient fine-tuning method that utilizes low-rank projectors $A$ and $B$ to learn weight updates $\Delta W$ for adaptation targets $W$. Previous research has shown that LoRA is essentially a gradient compressor, performing random projections on the gradient using a fixed projection matrix $A_0$. However, this setup restricts the overall weight update to be low-rank, which limits the adaptation performance. In this paper, we propose low-rank interconnected adaptation across layers (Lily). Specifically, we employ a hierarchical framework where low-dimensional projectors (LPs) retained for downward projection at a particular level, while globally-shared high-dimensional projector (HP) experts perform upward projection across all levels of layers. Lily uniquely connects each LP to all HP experts, therefore the gradient projections are no longer dominated by fixed projection matrices, but rather by selective combinations of all the projectors, thereby breaking the low-rank constraint of LoRA. Furthermore, Lily's cross-layer connections facilitate the capture of intricate information and dependencies across different layers, thereby enhancing the model's representational capabilities. Experiments across various modalities, architectures, and model sizes underscore Lily's great performance and efficiency. Code is available on github https://github.com/yibozhong/lily.
• Abstract（参考訳）: 低ランク適応(LoRA)は、低ランクプロジェクタの$A$と$B$を利用して、適応ターゲットの$W$に対して$Delta W$を学習する強力なパラメータ効率の微調整手法である。 従来の研究では、LoRAは基本的に勾配圧縮機であり、固定プロジェクション行列$A_0$を用いて勾配上にランダムなプロジェクションを実行することが示されている。 しかし、この設定は全体の重量更新を低ランクに制限し、適応性能を制限している。 本稿では,層間(Lily)にまたがる低ランク相互適応を提案する。 具体的には、低次元プロジェクタ(LP)が特定のレベルで下向きのプロジェクタとして保持される階層的枠組みを用いており、一方、グローバルシェアされた高次元プロジェクタ(HP)の専門家は、すべての層にわたって上向きのプロジェクタを実行する。 リリーが各LPを全てのHP専門家に一意に接続するため、勾配射影はもはや固定射影行列に支配されるのではなく、全てのプロジェクターの選択的な組み合わせによって支配され、ローランの低ランク制約を破る。 さらに、Lilyのクロスレイヤ接続は、異なるレイヤにまたがる複雑な情報や依存関係のキャプチャを容易にし、それによってモデルの表現能力を高める。 さまざまなモダリティ、アーキテクチャ、モデルサイズにわたる実験は、Lilyの優れたパフォーマンスと効率を浮き彫りにした。 コードはgithub https://github.com/yibozhong/lilyで入手できる。

関連論文リスト

• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• From GaLore to WeLore: How Low-Rank Weights Non-uniformly Emerge from Low-Rank Gradients [86.40635601953446]
  現代大規模言語モデルの様々な層にまたがる低ランク構造の出現について検討する。 WeLore(Weight Low-Rank Projection)を提案する。
  論文  参考訳（メタデータ） (2024-07-15T21:05:20Z)
• Flora: Low-Rank Adapters Are Secretly Gradient Compressors [30.224822087562163]
  低ランク適応(LoRA)は、少ないパラメータをトレーニングすることで最適化状態を低減するために提案される。 LoRAは全体の重量更新行列を低ランクに制限し、モデル性能を制限している。 本稿では,プロジェクション行列を再サンプリングすることで高階更新を実現する Flora を提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:50:39Z)
• LoTR: Low Tensor Rank Weight Adaptation [47.4904143988667]
  大規模言語モデル(LLM)のパラメータ効率向上のための新しいアプローチであるLoTRを導入する。 LoTRはテンソル分解の形でパラメータの勾配更新を表す。 低ランクテンソル表現を持つ層列の同時圧縮により、LoTRはより優れたパラメータ効率をアーカイブできる。
  論文  参考訳（メタデータ） (2024-02-02T13:00:38Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• A Lightweight and Gradient-Stable Neural Layer [3.8263760833282148]
  世帯重み付けと絶対値活性化に基づく神経層アーキテクチャを提案する。 $d$-neuronsと$d$の出力を持つ完全連結層と比較して、Han層はパラメータの数とそれに対応する計算複雑性を減らす。
  論文  参考訳（メタデータ） (2021-06-08T04:05:30Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。