論文の概要: An Empirical Study of Parameter-Efficient Fine-Tuning for Mixture-of-Experts LLMs

• arxiv url: http://arxiv.org/abs/2610.26370v1
• Date: Mon, 19 Oct 2026 13:28:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 18:09:55.349898
• Title: An Empirical Study of Parameter-Efficient Fine-Tuning for Mixture-of-Experts LLMs
• Title（参考訳）: 実験用LLMのパラメータ効率向上に関する実験的検討
• Abstract要約: PEFTをMoEモデルに適用するための基本的な設計手法について検討する。 MoEの専門家を適応させることだけで、最高ダウンストリームのパフォーマンスが達成できることに気付きました。 エキスパートのネイティブアップデートは、専門家やMoEモジュール全体をバイパスするよりも、ダウンストリームの保持トレードオフが優れている。
• 参考スコア（独自算出の注目度）: 14.928610140326322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) methods are critical for adapting large models under resource-constrained settings. However, as mixture-of-experts (MoE) architectures, which offer efficient inference at massive parameter scales, gain increasing prevalence in the community, a critical gap arising from the lack of systematic recipes for applying PEFT to MoE models. To narrow this gap, we conduct a large-scale systematic study that investigates a set of essential design recipes, including which modules should be adapted, which granularity should be used to adapt MoE modules, which PEFT method to use, and to what extent should the load-balancing objective be used, across three MoE backbones on downstream tasks and general knowledge tasks. Our experiments yield several key insights. First, adapting MoE experts alone achieves the highest downstream performance with competitive general capability retention under a comparable parameter budget. Second, native expert-weight updates offer a better downstream--retention trade-off than adapters that bypass experts or entire MoE modules. Third, LoRA and DoRA together define the strongest operating region for high downstream accuracy among the evaluated PEFT methods. Fourth, no nonzero load-balancing coefficient Pareto-dominates the zero baseline. We finally evaluate a weight-level redesign of MoE$^2$-LoRA on Qwen3. Moving its module-level bypass pool into native expert weights improves all four upstream endpoints by 2.4 to 17.9 points with 17% fewer trainable parameters and a 3.2-point average downstream cost.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)手法は,資源制約条件下での大規模モデルの適応に不可欠である。 しかし、大規模なパラメータスケールでの効率的な推論を提供するMix-of-Experts(MoE)アーキテクチャは、コミュニティ内での普及率を高めるため、PEFTをMoEモデルに適用するための体系的なレシピが欠如していることから、致命的なギャップが生じる。 このギャップを狭めるために,我々は,どのモジュールを適応すべきか,どのモジュールを適用すべきか,PEFT法が使用するMoEモジュールの粒度,ロードバランシングの目的をどの程度まで,下流タスクと一般的な知識タスクの3つのMoEバックボーンにまたがって検討する,大規模な体系的な研究を行った。 我々の実験はいくつかの重要な洞察をもたらす。 まず、MoEの専門家を適応させることだけで、同等のパラメータ予算の下で、競争力のある汎用能力を保ちながら、最高ダウンストリームのパフォーマンスを達成する。 第二に、エキスパートのネイティブアップデートは、専門家やMoEモジュール全体をバイパスするアダプタよりも、ダウンストリームの保持トレードオフが優れている。 第3に、LoRAとDoRAは共に、評価されたPEFT法の中で、下流精度の高い最強の動作領域を定義する。 第4に、非ゼロ負荷バランス係数のパレートがゼロベースラインを支配しない。 最終的に、Qwen3上でMoE$^2$-LoRAの重量レベルの再設計を評価した。 モジュールレベルのバイパスプールをネイティブエキスパートウェイトに移行することで、4つの上流エンドポイントを2.4から17.9ポイント改善し、トレーニング可能なパラメータは17%減少し、3.2ポイントの平均下流コストが向上した。

関連論文リスト

• From Experts to Sub-experts: Fine-grained Parameter-Efficient Fine-Tuning for MoE LLMs [54.56613868885818]
  サブエキスパートレベルの適応は、大規模言語モデルのためのより正確で効率的なPEFTパラダイムである。 Neural Sub-expert Fine-Tuningは、専門家からサブエキスパートへのMoE適応を洗練させる微細なPEFTフレームワークである。
  論文  参考訳（メタデータ） (2026-09-22T04:04:53Z)
• LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
  拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。 我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。 23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
  論文  参考訳（メタデータ） (2026-08-04T10:53:02Z)
• HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models [11.336343540603616]
  Low-Rank Adaptation (LoRA) は、大きな言語モデルのパラメータ効率の良い微調整を支配している。 本稿では,HELLoRA(Hot-Experts Layer-level Low-Rank Adaptation)を提案する。 HELLoRAはLoRAモジュールを各層の最も頻繁に活性化される専門家にのみアタッチする。
  論文  参考訳（メタデータ） (2026-05-11T06:43:14Z)
• How to Set the Learning Rate for Large-Scale Pre-training? [73.03133634525635]
  我々はこの調査を2つの異なる研究パラダイムであるフィッティングとトランスファーに定式化する。 フィッティングパラダイムでは,探索係数のスケーリング法則を導入し,O(n3) から O(n*C_D*C_) への探索複雑性を予測モデルにより効果的に低減する。 我々は、$Transferの原則をMixture of Experts (MoE)アーキテクチャに拡張し、モデル深さ、重量減衰、トークン水平線を含む適用範囲を広げる。
  論文  参考訳（メタデータ） (2026-01-08T15:55:13Z)
• Towards a Comprehensive Scaling Law of Mixture-of-Experts [54.117786590884776]
  本論文では,すべての重要な要因を考慮に入れた総合的かつ正確なMoEスケーリング法を提案する。 我々の結果は、$G$と$S$の最適設定が、モデルアーキテクチャとデータサイズの両方に依存しないことを示しています。 提案したMoEスケーリング法則は,将来のMoEモデル設計およびトレーニングを促進するための,正確かつ洞察に富んだガイダンスとして機能する可能性がある。
  論文  参考訳（メタデータ） (2025-09-28T06:35:34Z)
• Latent Prototype Routing: Achieving Near-Perfect Load Balancing in Mixture-of-Experts [0.0]
  Latent Prototype Routing (LPR)は、下流のパフォーマンスを損なうことなく、専門家のバランスのとれた利用を促進する新しいルーティングフレームワークである。 LPRは、専門家負荷のジーニ係数を平均0.70から0.035に減らし、専門家負荷比を1e-6から0.070に改善し、ほぼ完全な負荷分散を実現する。
  論文  参考訳（メタデータ） (2025-06-26T14:41:18Z)
• MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models [61.89384981175277]
  ローランド適応 (LoRA) とミックスオブエキスパート (MoE) を統合するための固有テキストbfMixture-of-Adapters (MoA) アプローチを提案する。 実験結果から, 不均一なMoAは均一なMoE-LoRA法よりも性能およびパラメータ効率が優れていることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T09:54:19Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• MoELoRA: Contrastive Learning Guided Mixture of Experts on Parameter-Efficient Fine-Tuning for Large Language Models [24.17147521556083]
  本稿では,新しいPEFT手法であるMoELoRAを紹介する。 数学推論と常識推論のベンチマークにおいて,11のタスクについて実験を行った。 MoELoRAはLoRAよりも4.2%高い平均性能を達成し、いくつかのベンチマークで175B GPT-3.5と比較して競争性能を示した。
  論文  参考訳（メタデータ） (2024-02-20T09:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。