論文の概要: AlphaLoRA: Assigning LoRA Experts Based on Layer Training Quality

• arxiv url: http://arxiv.org/abs/2410.10054v1
• Date: Mon, 14 Oct 2024 00:43:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 03:23:50.244131
• Title: AlphaLoRA: Assigning LoRA Experts Based on Layer Training Quality
• Title（参考訳）: AlphaLoRA: レイヤトレーニング品質に基づいたLoRAエキスパートの配置
• Authors: Peijun Qing, Chongyang Gao, Yefan Zhou, Xingjian Diao, Yaoqing Yang, Soroush Vosoughi,
• Abstract要約: Low-Rank Adaptation (LoRA)は、Large Language Models (LLM)におけるトレーニング効率を向上させることで知られている。 近年の研究では、LoRAとMixture-of-Experts(MoE)を組み合わせることで、さまざまなタスクのパフォーマンス向上を目指している。 AlphaLoRAは理論上は原則的かつトレーニング不要な手法で、LoRAの専門家をさらなる冗長性に割り当てる。
• 参考スコア（独自算出の注目度）: 31.830108790753172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning methods, such as Low-Rank Adaptation (LoRA), are known to enhance training efficiency in Large Language Models (LLMs). Due to the limited parameters of LoRA, recent studies seek to combine LoRA with Mixture-of-Experts (MoE) to boost performance across various tasks. However, inspired by the observed redundancy in traditional MoE structures, previous studies identify similar redundancy among LoRA experts within the MoE architecture, highlighting the necessity for non-uniform allocation of LoRA experts across different layers. In this paper, we leverage Heavy-Tailed Self-Regularization (HT-SR) Theory to design a fine-grained allocation strategy. Our analysis reveals that the number of experts per layer correlates with layer training quality, which exhibits significant variability across layers. Based on this, we introduce AlphaLoRA, a theoretically principled and training-free method for allocating LoRA experts to further mitigate redundancy. Experiments on three models across ten language processing and reasoning benchmarks demonstrate that AlphaLoRA achieves comparable or superior performance over all baselines. Our code is available at https://github.com/morelife2017/alphalora.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) のようなパラメータ効率のよい微調整法は、Large Language Models (LLM) の訓練効率を高めることが知られている。 LoRAのパラメータが限られているため、最近の研究では、LoRAとMixture-of-Experts (MoE)を組み合わせることで、さまざまなタスクのパフォーマンス向上を目指している。 しかし、従来のMoE構造における観察された冗長性に触発されて、以前の研究では、MoEアーキテクチャ内のLoRA専門家の間で同様の冗長性を特定し、異なる層にまたがるLoRA専門家の均一な配置の必要性を強調した。 本稿ではヘビータイド自己規則化(HT-SR)理論を利用して,粒度の細かいアロケーション戦略を設計する。 分析の結果,各レイヤのエキスパート数は,レイヤ間の大きなばらつきを示す,レイヤのトレーニング品質と相関していることがわかった。 これに基づいて,理論上は理論上は原則的かつトレーニング不要な手法であるAlphaLoRAを導入し,ロラの専門家をアロケートして冗長性をさらに軽減する。 10の言語処理と推論ベンチマークにわたる3つのモデルの実験は、AlphaLoRAがすべてのベースラインに対して同等または優れたパフォーマンスを達成することを示した。 私たちのコードはhttps://github.com/morelife2017/alphalora.comから入手可能です。

関連論文リスト

• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.98941571078398]
  Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。 最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。 効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。 各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T06:56:39Z)
• S-LoRA: Scalable Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、逐次的なタスクに事前訓練されたモデルのパワーを活用するための有望なアプローチとして現れてきた。 本稿では,LRAパラメータの方向と大きさの学習を段階的に分離する,CL(特にクラスインクリメンタルラーニング)のためのスケーラブル低ランク適応(S-LoRA)手法を提案する。 我々の理論的および実証的な分析により、S-LoRAは重なり合う低損失領域に収束する低損失軌道を辿る傾向にあり、CLの安定性と塑性のトレードオフは良好であることが示された。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Planning vs Reasoning: Ablations to Test Capabilities of LoRA layers [0.0]
  低ランク適応層は効率的なモデル微調整のための有望なアプローチとして現れている。 本稿では,LoRA層が推論・計画能力の向上に有効かどうかを考察する。
  論文  参考訳（メタデータ） (2024-11-19T10:51:49Z)
• Exploring Gradient Subspaces: Addressing and Overcoming LoRA's Limitations in Federated Fine-Tuning of Large Language Models [19.533062623518674]
  本稿ではLow-Rank Adaptation (LoRA)を用いたFLフレームワークの収束と性能保証を批判的に分析する。 直接重み付けはLoRAベースの戦略よりも優れており、微調整モデルでは優れた性能が得られることを示す。 以上の結果から,直接重み付けと併用したGaLoreの方が,FlexLoRAやFFA-LoRAといったフェデレートされたLoRA法よりも,テキストや画像のモダリティが優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-10-30T15:23:44Z)
• MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning [9.91790333647256]
  低ランク適応法(LoRA)とその混合実験法(MOE)は,高効率なパラメータ効率微調整法(PEFT)である。 新規かつ効率的なLoRA変種であるMiLoRAを提案する。 MiLoRAは、各LoRAモジュールを専門家として考慮し、プロンプト対応のルーティング機構を採用することで、従来のMOEスタイルのLoRAメソッドと異なる。
  論文  参考訳（メタデータ） (2024-10-23T17:04:40Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)
• Higher Layers Need More LoRA Experts [23.72297945365351]
  トランスフォーマーモデルのための新しいパラメータ効率MoE法であるtextittextbfMoE-LtextbfoRA と textbfLayer-wise Expert textbfAllocation (MoLA) を導入する。 6つのよく知られたNLPおよびCommonsense QAベンチマークの実験は、MoLAがすべてのベースラインと同等または優れたパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-02-13T16:04:21Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。