論文の概要: GuiLoMo: Allocating Expert Number and Rank for LoRA-MoE via Bilevel Optimization with GuidedSelection Vectors
- arxiv url: http://arxiv.org/abs/2506.14646v1
- Date: Tue, 17 Jun 2025 15:41:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-18 17:34:59.552111
- Title: GuiLoMo: Allocating Expert Number and Rank for LoRA-MoE via Bilevel Optimization with GuidedSelection Vectors
- Title（参考訳）: GuiLoMo: ガイド選択ベクトルによる双方向最適化によるLoRA-MoEのエキスパート番号とランクの割り当て
- Authors: Hengyuan Zhang, Xinrong Chen, Yingmin Qiu, Xiao Liang, Ziyue Li, Guanyu Wang, Weiping Li, Tong Mo, Wenyue Li, Hayden Kwok-Hay So, Ngai Wong,
- Abstract要約: Low-Rank Adaptation (LoRA) は、計算コストを削減した大規模言語モデルを適応するための効率的な方法である。
GuiLoMoはきめ細かなレイヤーの専門家数とランク割り当て戦略である。
- 参考スコア（独自算出の注目度）: 15.272860106697678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter-efficient fine-tuning (PEFT) methods, particularly Low-Rank Adaptation (LoRA), offer an efficient way to adapt large language models with reduced computational costs. However, their performance is limited by the small number of trainable parameters. Recent work combines LoRA with the Mixture-of-Experts (MoE), i.e., LoRA-MoE, to enhance capacity, but two limitations remain in hindering the full exploitation of its potential: 1) the influence of downstream tasks when assigning expert numbers, and 2) the uniform rank assignment across all LoRA experts, which restricts representational diversity. To mitigate these gaps, we propose GuiLoMo, a fine-grained layer-wise expert numbers and ranks allocation strategy with GuidedSelection Vectors (GSVs). GSVs are learned via a prior bilevel optimization process to capture both model- and task-specific needs, and are then used to allocate optimal expert numbers and ranks. Experiments on three backbone models across diverse benchmarks show that GuiLoMo consistently achieves superior or comparable performance to all baselines. Further analysis offers key insights into how expert numbers and ranks vary across layers and tasks, highlighting the benefits of adaptive expert configuration. Our code is available at https://github.com/Liar406/Gui-LoMo.git.
- Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)手法、特にローランド適応(LoRA)は、計算コストを削減して大規模言語モデルを適応する効率的な方法を提供する。
しかし、それらの性能は少数のトレーニング可能なパラメータによって制限されている。
最近の研究は、LoRAとMixture-of-Experts(MoE)を組み合わせることで容量を増強しているが、その可能性のフル活用を妨げる2つの制限が残っている。
1)専門家番号を割り当てる際の下流業務の影響
2) 表象の多様性を制限する全 LoRA 専門家の均一な階級割り当て。
これらのギャップを緩和するために、GuiLoMoを提案する。これは、粒度の細かいレイヤーの専門家数と、ガイド選択ベクトル(GSV)を用いたランク付け戦略である。
GSVは、モデル固有のニーズとタスク固有のニーズの両方をキャプチャするために、事前のバイレベル最適化プロセスを通じて学習され、その後、最適な専門家数とランクを割り当てるために使用される。
多様なベンチマークによる3つのバックボーンモデルの実験では、GuiLoMoはすべてのベースラインに対して、一貫して優れた、あるいは同等のパフォーマンスを達成している。
さらなる分析は、専門家の数とランクが階層やタスクによってどのように異なるかについて重要な洞察を与え、適応的な専門家構成の利点を強調している。
私たちのコードはhttps://github.com/Liar406/Gui-LoMo.gitで利用可能です。
関連論文リスト
- MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning [18.0412262027514]
マルチタスクのためのMixture of Low-Rank Experts (MoRE)を提案する。
各タスクに個別のLoRAを使う代わりに、異なるタスクでLoRAモジュールの異なるランクを調整します。
また、タスクごとに適切な専門家を選択するために、新しい適応的なランクセレクタを設計する。
論文 参考訳（メタデータ） (2025-05-28T12:32:09Z) - Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning [76.10639521319382]
シンボリックなテキストベースでグラデーションのないMixture-of-ExpertsフレームワークであるSybolic-MoEを提案する。
我々は,Sybolic-MoEのインスタンスレベルのエキスパート選択により,大きなマージンで性能が向上することを示した。
論文 参考訳（メタデータ） (2025-03-07T18:03:13Z) - Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.98941571078398]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。
最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。
効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。
各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文 参考訳（メタデータ） (2025-01-25T06:56:39Z) - Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - LLaVA-MoLE: Sparse Mixture of LoRA Experts for Mitigating Data Conflicts
in Instruction Finetuning MLLMs [29.96139552754377]
MLLMの命令微調整に有効なMixture of Experts(MoE)設計法を提案する。
大規模な実験により、LLaVA-MoLEは複数の異なる命令データセットを混合する際のデータ競合問題を効果的に軽減することが証明された。
LLaVA-MoLEは2倍のサンプルで訓練された平らなLoRAベースラインよりも優れている。
論文 参考訳（メタデータ） (2024-01-29T13:48:36Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳（メタデータ） (2024-01-20T20:25:17Z) - SiRA: Sparse Mixture of Low Rank Adaptation [63.926732717719354]
我々は「スパース」計算を活用することの重要性について検討し、低ランクのスパース混合SiRAを提案する。
具体的には、各専門家が処理できるトークンの最大数を制限するキャパシティ制限付きの、トップ$k$のエキスパートルーティングを強制する。
論文 参考訳（メタデータ） (2023-11-15T18:15:37Z) - One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning [34.109808214968176]
Generalized LoRA (GLoRA) は、汎用パラメータ効率の微調整タスクのための先進的なアプローチである。
一般化されたプロンプトモジュールを使用して、事前訓練されたモデルの重量を最適化し、中間活性化を調整する。
GLoRAは、強力な転送学習、少数ショット学習、ドメイン一般化能力を示す。
論文 参考訳（メタデータ） (2023-06-13T17:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。