論文の概要: HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models

• arxiv url: http://arxiv.org/abs/2605.18795v1
• Date: Mon, 11 May 2026 06:43:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 21:37:32.333579
• Title: HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models
• Title（参考訳）: HELLoRA:Mixture-of-Expertsモデルのための層レベル低ランク適応
• Authors: Jia Wei, Zhonghao Zhang, Ping Chen, Qianyang li, Yancheng Pan, Shaoxun Wang, Ziyi Qiu, Longxiang Wang,
• Abstract要約: Low-Rank Adaptation (LoRA) は、大きな言語モデルのパラメータ効率の良い微調整を支配している。 本稿では,HELLoRA(Hot-Experts Layer-level Low-Rank Adaptation)を提案する。 HELLoRAはLoRAモジュールを各層の最も頻繁に活性化される専門家にのみアタッチする。
• 参考スコア（独自算出の注目度）: 11.336343540603616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) dominates parameter-efficient fine-tuning of large language models, yet most variants target dense architectures. Mixture-of-Experts (MoE) models scale parameters at near-constant per-token compute, and their sparse activation patterns create untapped opportunities for more efficient adaptation. We propose Hot-Experts Layer-level Low-Rank Adaptation (HELLoRA), which attaches LoRA modules only to the most frequently activated experts at each layer. This simple mechanism reduces trainable parameters and adapter-induced FLOPs while improving downstream performance, an effect we attribute to a form of structured regularization that preserves pretrained expert specialization. To stress-test HELLoRA under extreme parameter budgets, we further compose it with LoRI to form HELLoRI, which freezes the up-projection and sparsifies the down-projection. Across three MoE backbones, namely OlMoE-1B-7B, Mixtral-8x7B, and DeepSeekMoE, and three task families covering mathematical reasoning, code generation, and safety alignment, HELLoRA consistently outperforms strong PEFT baselines. Relative to vanilla LoRA on OlMoE, HELLoRA uses 15.7% of the trainable parameters, reduces adapter FLOPs by 38.7%, achieves 1.9x the training throughput, and improves accuracy by 9.2%. On DeepSeekMoE, HELLoRA outperforms LoRA while using only 23.2% of its trainable parameters. These results demonstrate that activation-aware adapter placement is an effective and practical route to scaling PEFT for MoE language models.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、大きな言語モデルのパラメータ効率の良い微調整を支配しているが、ほとんどの変種は密度の高いアーキテクチャをターゲットにしている。 Mixture-of-Experts (MoE) モデルは、ほぼ一対一の計算でパラメータをスケールし、そのスパースアクティベーションパターンは、より効率的な適応のための未解決の機会を生み出す。 本稿では,各層において最も頻繁に活性化される専門家にのみLoRAモジュールをアタッチするHot-Experts Layer-level Low-Rank Adaptation (HELLoRA)を提案する。 この単純なメカニズムは、トレーニング可能なパラメータとアダプタによって誘導されるFLOPを減らし、下流の性能を改善します。 極端なパラメータ予算の下でHELLoRAをストレステストするために、さらにLoRIと組み合わせてHELLoRIを形成する。 3つのMoEバックボーン(OlMoE-1B-7B、Mixtral-8x7B、DeepSeekMoE)と数学的推論、コード生成、安全性アライメントを含む3つのタスクファミリ、HELLoRAはPEFTベースラインを一貫して上回っている。 OlMoEのバニラ・ロラとは対照的に、HELLoRAはトレーニング可能なパラメータの15.7%を使用し、アダプタFLOPを38.7%削減し、トレーニングスループットの1.9倍を達成し、精度を9.2%向上させる。 DeepSeekMoEでは、HELLoRAはトレーニング可能なパラメータの23.2%しか使用せず、LoRAを上回っている。 これらの結果は, アクティベーション対応アダプタの配置が, MoE 言語モデルにおけるPEFT のスケーリングに有効かつ実用的な方法であることを示している。

関連論文リスト

• LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing [17.171872354057694]
  LoRA-Mixerはモジュール式で軽量なMoEフレームワークであり、LoRAの専門家を統合している。 私たちの中心となるイノベーションは、アテンションモジュールの入出力線形レイヤのプロジェクション行列をタスク固有のLoRA専門家に置き換えることです。 LoRA-Mixerは、GSM8K、HumanEval、MedQAといったデータセットの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2025-06-17T14:58:54Z)
• DenseLoRA: Dense Low-Rank Adaptation of Large Language Models [14.133511131962786]
  低ランク適応 (LoRA) は大規模言語モデル (LLM) に適応するための効率的なアプローチとして開発されている。 パラメータ効率を高めつつ,LoRAよりも優れた性能を実現する新しい手法であるDense Low-Rank Adaptation (DenseLoRA)を導入する。 我々はDenseLoRAを様々なベンチマークで評価し、LLaMA3-8B上のトレーニング可能なパラメータの0.70%とLoRAの80.8%の精度と比較して、トレーニング可能なパラメータの0.01%で83.8%の精度を達成することを示した。
  論文  参考訳（メタデータ） (2025-05-27T08:19:07Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition [2.5269004336032186]
  Efficient Weight-Decomposed Low-Rank Adaptation (EDoRA) は、事前学習した重量を大きさと方向の成分に分解する新しいPEFT法である。 EDoRAは、LoRAやDoRAのような最先端の手法と比較して、競争力や優れた性能を達成する。
  論文  参考訳（メタデータ） (2025-01-21T11:42:09Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• MLAE: Masked LoRA Experts for Visual Parameter-Efficient Fine-Tuning [45.93128932828256]
  Masked LoRA Experts (MLAE) は、視覚的PEFTにマスキングの概念を適用する革新的なアプローチである。 本手法は,低ランク行列を独立したランク1サブマトリクスに変換するセル分解戦略を組み込んだものである。 MLAEは,VTAB-1kベンチマークでは平均78.8%,FGVCベンチマークでは90.9%の精度で,新しい最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2024-05-29T08:57:23Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。