論文の概要: DR-LoRA: Dynamic Rank LoRA for Mixture-of-Experts Adaptation

• arxiv url: http://arxiv.org/abs/2601.04823v3
• Date: Wed, 14 Jan 2026 08:04:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 14:49:40.99496
• Title: DR-LoRA: Dynamic Rank LoRA for Mixture-of-Experts Adaptation
• Title（参考訳）: DR-LoRA:Mixture-of-Experts Adaptationのための動的ランクローラ
• Authors: Guanzhi Deng, Bo Li, Ronghao Chen, Huacan Wang, Lijie Wen, Linqi Song,
• Abstract要約: Mixture-of-Experts (MoE) はLarge Language Models (LLM) のスケーリングのパラダイムとして注目されている。 DR-LoRAと呼ばれる動的ランクのLoRAフレームワークを提案し、タスク固有の要求に基づいて微調整中に専門家のLoRAランクを動的に増加させる。 複数のベンチマークの実験では、DR-LoRAは同じパラメータ予算の下で標準のLoRAと静的アロケーション戦略を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 26.24723718425076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) has become a prominent paradigm for scaling Large Language Models (LLMs). Parameter-efficient fine-tuning (PEFT), such as LoRA, is widely adopted to adapt pretrained MoE LLMs to downstream tasks. However, existing approaches assign identical LoRA ranks to all experts, overlooking the intrinsic functional specialization within MoE LLMs. This uniform allocation leads to resource mismatch, task-relevant experts are under-provisioned while less relevant ones receive redundant parameters. We propose a Dynamic Rank LoRA framework named DR-LoRA, which dynamically grows expert LoRA ranks during fine-tuning based on task-specific demands. DR-LoRA employs an Expert Saliency Scoring mechanism that integrates expert routing frequency and LoRA rank importance to quantify each expert's demand for additional capacity. Experts with higher saliency scores are prioritized for rank expansion, enabling the automatic formation of a heterogeneous rank distribution tailored to the target task. Experiments on multiple benchmarks demonstrate that DR-LoRA consistently outperforms standard LoRA and static allocation strategies under the same parameter budget, achieving superior task performance with more efficient parameter utilization.
• Abstract（参考訳）: Mixture-of-Experts (MoE) は、LLM(Large Language Models)のスケーリングにおいて、目立ったパラダイムとなっている。 LoRAのようなパラメータ効率のよい微細チューニング(PEFT)は、トレーニング済みのMoE LLMを下流タスクに適用するために広く採用されている。 しかし、既存のアプローチでは、全ての専門家に同一のLoRAランクを割り当てており、MOE LLMの本質的な機能的特殊化を見越している。 この均一なアロケーションは、リソースのミスマッチを引き起こし、タスク関連の専門家は、未計画であり、関連性の低い専門家は冗長なパラメータを受け取ります。 DR-LoRAと呼ばれる動的ランクのLoRAフレームワークを提案し、タスク固有の要求に基づいて微調整中に専門家のLoRAランクを動的に増加させる。 DR-LoRAは、専門家のルーティング周波数とLoRAランクを統合して、各専門家の追加能力に対する要求を定量化する、エキスパート・サリエンシ・スコアリング機構を採用している。 高いサリエンシスコアを持つエキスパートはランク展開のために優先順位付けされ、ターゲットタスクに合わせて不均一なランク分布が自動生成される。 複数のベンチマークの実験では、DR-LoRAは標準のLoRAと静的アロケーション戦略を同じパラメータ予算で一貫して上回り、より効率的なパラメータ利用で優れたタスク性能を達成している。

関連論文リスト

• HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Generalization [39.23407996213986]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルを新しいドメインに適応させる手法として広く使われている。 既存のメソッドは明示的なタスクラベルや追加のトレーニングに依存しており、デプロイには実用的ではない。 トレーニング不要なフレームワークである textttHiLoRA を提案し,LoRA プール上で適応的な階層的ルーティングを行う。
  論文  参考訳（メタデータ） (2025-10-14T08:19:13Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
  Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。 最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。 効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。 各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T06:56:39Z)
• MALoRA: Mixture of Asymmetric Low-Rank Adaptation for Enhanced Multi-Task Learning [29.957620178740186]
  マルチタスクのシナリオでは、トレーニングの不均衡やシーソー効果といった課題が頻繁に現れます。 フレキシブルな微調整フレームワークとして非対称低ランク適応(MALoRA)の混合を提案する。 MALoRAはトレーニング可能なパラメータの数を30%から48%削減し、トレーニング速度を1.2倍にし、シングルタスクのLoRAモデルの計算効率に匹敵する。
  論文  参考訳（メタデータ） (2024-10-30T07:53:52Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。