From Experts to Sub-experts: Fine-grained Parameter-Efficient Fine-Tuning for MoE LLMs
Abstractの概要
本論文はMixture-of-Experts（MoE）言語モデルのパラメータ効率的なファインチューニングを研究し、活性化されたエキスパートが内部的にスパースであるため、エキスパートレベルの適応は依然として粗すぎると主張しています。著者らは各エキスパートをサブエキスパートと呼ばれる構造化されたチャネルグループに分解し、ルーティングの重要性とエキスパート内部の活性化顕著性の両方を用いてタスク関連のグループを選択するNSFTを提案しています。これらのスパースな部分更新を効果的にするため、本手法は学習率スケーリングや、訓練中に重要度を更新する動的バリアントを含む勾配スケーリングを追加しています。ドメイン特化タスクおよび一般ベンチマークにわたるOLMoE-7BとLing-mini-2.0-16Bでの実験により、このより微細な適応粒度が効率と性能のトレードオフを改善するかを評価しています。
新規性
主な新規性は、各エキスパートを分割不可能な更新単位として扱うのではなく、MoEのファインチューニングをエキスパート全体からサブエキスパートのチャネルグループへと移行させた点にあります。また、この微細な選択手法を、エキスパート内部のスパースな部分更新向けに特化して設計された適応的最適化スキームと組み合わせています。
成果
OLMoEにおいて、NSFTは表1に報告された効率的チューニングのベースラインの中で最も高いドメイン内性能を達成し、タスクに応じて約3.21%〜10.35%の訓練可能パラメータを使用しながら、一般平均45.96を維持しつつ平均46.62を記録しました。Ling-mini TableQAでは、NSFTは2.86%の訓練可能パラメータを使用しながらESFTの17.68に対して34.44のPoT平均に達し、示されたLoRAやフルファインチューニングのベースラインよりも高い一般性能を維持しました。
論文の注目点
- NSFTはエキスパートのチャネルをグループ化し、エキスパートのルーティング頻度と内部の活性化顕著性を組み合わせたスコアでランク付けすることで、訓練可能なサブエキスパートを選択する。
- 本手法は更新規模の減少を補償し、選択されたより重要なグループにより大きな更新を割り当てるため、学習率スケーリングおよび静的または動的な勾配スケーリングを導入している。
- 実証的に、NSFTは報告されたMoE適応タスクにおいてエキスパートレベルのスパースチューニングやLoRAベースラインを一貫して上回り、より少ない訓練可能パラメータで競争力のある一般能力を維持している。