Fugu-MT 論文翻訳(概要): CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging

論文の概要: CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging

arxiv url: http://arxiv.org/abs/2603.00573v1
Date: Sat, 28 Feb 2026 09:40:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-03 19:50:56.266425
Title: CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging
Title（参考訳）: CoMoL: 動的コアスペースマージによるLoRAエキスパートの効率的な混合
Authors: Jie Cao, Zhenxuan Fan, Zhuonan Wang, Tianwei Lin, Ziyuan Zhao, Rolan Yan, Wenqiao Zhang, Feifei Shao, Hongwei Wang, Jun Xiao, Siliang Tang,
Abstract要約: Core Space Mixture of LoRA (bfCoMoL)は、専門家の多様性、パラメータ効率、きめ細かい適応を取り入れた新しいMoE-LoRAフレームワークである。 CoMoLは、複数のタスクで既存のメソッドを一貫して上回る。
参考スコア（独自算出の注目度）: 49.87105462292961
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Large language models (LLMs) achieve remarkable performance on diverse downstream and domain-specific tasks via parameter-efficient fine-tuning (PEFT). However, existing PEFT methods, particularly MoE-LoRA architectures, suffer from limited parameter efficiency and coarse-grained adaptation due to the proliferation of LoRA experts and instance-level routing. To address these issues, we propose Core Space Mixture of LoRA (\textbf{CoMoL}), a novel MoE-LoRA framework that incorporates expert diversity, parameter efficiency, and fine-grained adaptation. Specifically, CoMoL introduces two key components: core space experts and core space routing. Core space experts store each expert in a compact core matrix, preserving diversity while controlling parameter growth. Core space routing dynamically selects and activates the appropriate core experts for each token, enabling fine-grained, input-adaptive routing. Activated core experts are then merged via a soft-merging strategy into a single core expert, which is combined with a shared LoRA to form a specialized LoRA module. Besides, the routing network is projected into the same low-rank space as the LoRA matrices, further reducing parameter overhead without compromising expressiveness. Extensive experiments demonstrate that CoMoL retains the adaptability of MoE-LoRA architectures while achieving parameter efficiency comparable to standard LoRA, consistently outperforming existing methods across multiple tasks.
Abstract（参考訳）: 大規模言語モデル(LLM)は,パラメータ効率の微調整(PEFT)により,下流およびドメイン固有のタスクにおいて顕著な性能を達成する。しかし、既存のPEFT手法、特にMoE-LoRAアーキテクチャは、LoRAの専門家の急増とインスタンスレベルのルーティングによるパラメータ効率の制限と粗粒度適応に悩まされている。これらの問題に対処するために、専門家の多様性、パラメータ効率、微粒化を取り入れたMoE-LoRAフレームワークであるLoRAのCore Space Mixture(\textbf{CoMoL})を提案する。特にCoMoLは、コアスペースエキスパートとコアスペースルーティングという2つの重要なコンポーネントを導入している。コアスペースの専門家は、各専門家をコンパクトなコアマトリックスに格納し、パラメータの成長を制御しながら多様性を保ちます。コアスペースルーティングは、トークンごとに適切なコアエキスパートを動的に選択し、アクティベートし、きめ細かい入力適応ルーティングを可能にする。活性化されたコアエキスパートは、ソフトマージ戦略を通じて単一のコアエキスパートにマージされ、共有されたLoRAと組み合わせて特殊なLoRAモジュールを形成する。さらに、ルーティングネットワークはLoRA行列と同じ低ランク空間に投影され、表現性を損なうことなくパラメータオーバーヘッドをさらに低減する。大規模な実験により、CoMoLはMoE-LoRAアーキテクチャの適応性を保ちながら、標準のLoRAに匹敵するパラメータ効率を実現し、複数のタスクで既存のメソッドを一貫して上回ります。

関連論文リスト

DR-LoRA: Dynamic Rank LoRA for Mixture-of-Experts Adaptation [26.24723718425076]
Mixture-of-Experts (MoE) はLarge Language Models (LLM) のスケーリングのパラダイムとして注目されている。 DR-LoRAと呼ばれる動的ランクのLoRAフレームワークを提案し、タスク固有の要求に基づいて微調整中に専門家のLoRAランクを動的に増加させる。複数のベンチマークの実験では、DR-LoRAは同じパラメータ予算の下で標準のLoRAと静的アロケーション戦略を一貫して上回っている。
論文参考訳（メタデータ） (2026-01-08T10:58:51Z)
FediLoRA: Heterogeneous LoRA for Federated Multimodal Fine-tuning under Missing Modalities [9.507134068207597]
FediLoRAは、不均一なLoRAランクと欠落したモダリティの下で、連邦化されたマルチモーダル微調整のためのフレームワークである。グローバルな設定とパーソナライズされた設定の両方において、競争上のベースラインよりも優れたパフォーマンスを実現する。
論文参考訳（メタデータ） (2025-09-01T10:40:13Z)
LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing [17.171872354057694]
LoRA-Mixerはモジュール式で軽量なMoEフレームワークであり、LoRAの専門家を統合している。私たちの中心となるイノベーションは、アテンションモジュールの入出力線形レイヤのプロジェクション行列をタスク固有のLoRA専門家に置き換えることです。 LoRA-Mixerは、GSM8K、HumanEval、MedQAといったデータセットの大幅な改善を実現している。
論文参考訳（メタデータ） (2025-06-17T14:58:54Z)
A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。 LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
論文参考訳（メタデータ） (2025-02-20T05:58:53Z)
In-Context Meta LoRA Generation [61.690065588534296]
Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
論文参考訳（メタデータ） (2025-01-29T13:12:01Z)
Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文参考訳（メタデータ） (2025-01-25T06:56:39Z)
Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-24T05:24:41Z)
Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文参考訳（メタデータ） (2024-04-21T11:59:53Z)
LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。