論文の概要: TalkLoRA: Communication-Aware Mixture of Low-Rank Adaptation for Large Language Models
- arxiv url: http://arxiv.org/abs/2604.06291v1
- Date: Tue, 07 Apr 2026 14:57:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-09 17:30:51.156918
- Title: TalkLoRA: Communication-Aware Mixture of Low-Rank Adaptation for Large Language Models
- Title（参考訳）: TalkLoRA: 大規模言語モデルのための低ランク適応のコミュニケーションと認識の混合
- Abstract要約: Low-Rank Adaptation (LoRA) はLarge Language Models (LLM) のパラメータ効率の良い微調整を可能にする
既存のMoE拡張LoRA手法は、専門家が独立して活動し、不安定なルーティングや専門家の優位性をもたらすと仮定する。
我々は、ルーティング前に専門家レベルのコミュニケーションを導入することで、この独立性を緩和する通信対応のMoELoRAフレームワークであるtextbfTalkLoRAを提案する。
- 参考スコア（独自算出の注目度）: 23.286371476904304
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Low-Rank Adaptation (LoRA) enables parameter-efficient fine-tuning of Large Language Models (LLMs), and recent Mixture-of-Experts (MoE) extensions further enhance flexibility by dynamically combining multiple LoRA experts. However, existing MoE-augmented LoRA methods assume that experts operate independently, often leading to unstable routing, expert dominance. In this paper, we propose \textbf{TalkLoRA}, a communication-aware MoELoRA framework that relaxes this independence assumption by introducing expert-level communication prior to routing. TalkLoRA equips low-rank experts with a lightweight Talking Module that enables controlled information exchange across expert subspaces, producing a more robust global signal for routing. Theoretically, we show that expert communication smooths routing dynamics by mitigating perturbation amplification while strictly generalizing existing MoELoRA architectures. Empirically, TalkLoRA consistently outperforms vanilla LoRA and MoELoRA across diverse language understanding and generation tasks, achieving higher parameter efficiency and more balanced expert routing under comparable parameter budgets. These results highlight structured expert communication as a principled and effective enhancement for MoE-based parameter-efficient adaptation. Code is available at https://github.com/why0129/TalkLoRA.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、Large Language Models (LLM)のパラメータ効率の良い微調整を可能にし、最近のMixture-of-Experts (MoE)拡張は、複数のLoRA専門家を動的に組み合わせることで、柔軟性をさらに強化する。
しかし、既存のMoE拡張LoRA法では、専門家は独立して活動し、しばしば不安定なルーティングや専門家の支配につながると仮定している。
本稿では、ルーティング前に専門家レベルのコミュニケーションを導入することで、この独立性の前提を緩和する通信対応のMoELoRAフレームワークである、‘textbf{TalkLoRA}’を提案する。
TalkLoRAは、専門家のサブスペース間で制御された情報交換を可能にする軽量なTalking Moduleを備え、ルーティングのためのより堅牢なグローバル信号を生成する。
理論的には,既存のMoELoRAアーキテクチャを厳格に一般化しながら摂動増幅を緩和することにより,専門家のコミュニケーションがルーティングのダイナミクスを円滑にすることを示す。
経験的に、TalkLoRAは、さまざまな言語理解および生成タスクにおいて、バニラLoRAとMoELoRAを一貫して上回り、より高いパラメータ効率と、同等のパラメータ予算下でのよりバランスの取れた専門家ルーティングを実現している。
これらの結果は、MoEに基づくパラメータ効率適応の原則的かつ効果的な強化として、構造化専門家のコミュニケーションを強調した。
コードはhttps://github.com/why0129/TalkLoRAで入手できる。
関連論文リスト
- MoE$^2$-LoRA: When MoE Models Meet MoE-style Low-Rank Adaptation [23.49321952252126]
ミックス・オブ・エクササイズ(Mixture-of-Experts, MOE)アーキテクチャは大規模言語モデルで広く採用されているが、パラメータ効率のよいMOEモデルのための微細チューニング(PEFT)は未検討のままである。
我々は、MoEスタイルの低ランク適応でMoEモデルを微調整する最初の試みを行う: “MoE$2$-LoRA” と題された我々の手法は、タスク固有の適応性を備えた事前訓練された専門家専門化を深く結合する。
論文 参考訳（メタデータ） (2026-07-24T04:50:39Z) - Learning to Select, Not Relearn: Hard-Routed Mixtures of Reasoning LoRAs [27.71932231964013]
本稿では,Loraの専門家を単位スケールのハードセレクションにより凍結推論するフレームワークを提案する。
実験により、ハードルートMoR-LoRAはソフトルート混合基線よりもトレーニング可能なパラメータをかなり少なく必要としながら、専門家の挙動を保っていることが示された。
論文 参考訳（メタデータ） (2026-06-30T09:40:38Z) - CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging [49.87105462292961]
Core Space Mixture of LoRA (bfCoMoL)は、専門家の多様性、パラメータ効率、きめ細かい適応を取り入れた新しいMoE-LoRAフレームワークである。
CoMoLは、複数のタスクで既存のメソッドを一貫して上回る。
論文 参考訳（メタデータ） (2026-02-28T09:40:11Z) - DR-LoRA: Dynamic Rank LoRA for Mixture-of-Experts Adaptation [26.24723718425076]
Mixture-of-Experts (MoE) はLarge Language Models (LLM) のスケーリングのパラダイムとして注目されている。
DR-LoRAと呼ばれる動的ランクのLoRAフレームワークを提案し、タスク固有の要求に基づいて微調整中に専門家のLoRAランクを動的に増加させる。
複数のベンチマークの実験では、DR-LoRAは同じパラメータ予算の下で標準のLoRAと静的アロケーション戦略を一貫して上回っている。
論文 参考訳（メタデータ） (2026-01-08T10:58:51Z) - LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing [17.171872354057694]
LoRA-Mixerはモジュール式で軽量なMoEフレームワークであり、LoRAの専門家を統合している。
私たちの中心となるイノベーションは、アテンションモジュールの入出力線形レイヤのプロジェクション行列をタスク固有のLoRA専門家に置き換えることです。
LoRA-Mixerは、GSM8K、HumanEval、MedQAといったデータセットの大幅な改善を実現している。
論文 参考訳（メタデータ） (2025-06-17T14:58:54Z) - MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models [61.89384981175277]
ローランド適応 (LoRA) とミックスオブエキスパート (MoE) を統合するための固有テキストbfMixture-of-Adapters (MoA) アプローチを提案する。
実験結果から, 不均一なMoAは均一なMoE-LoRA法よりも性能およびパラメータ効率が優れていることがわかった。
論文 参考訳（メタデータ） (2025-06-06T09:54:19Z) - LoRASculpt: Sculpting LoRA for Harmonizing General and Specialized Knowledge in Multimodal Large Language Models [61.96237184081951]
Low-Rank Adaptation (LoRA)はマルチモーダル大規模言語モデル(MLLM)における専門知識の獲得に広く利用されている。
LoRAは、視覚的インストラクションチューニング中にかなり有害な冗長性を導入し、一般的な知識の忘れを悪化させ、下流のタスク性能を低下させる。
有害な冗長パラメータを排除し,一般知識と専門知識の調和を図るため,LoRASculptを提案する。
論文 参考訳（メタデータ） (2025-03-21T04:31:09Z) - Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。
最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。
効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。
各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文 参考訳（メタデータ） (2025-01-25T06:56:39Z) - MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning [9.91790333647256]
低ランク適応法(LoRA)とその混合実験法(MOE)は,高効率なパラメータ効率微調整法(PEFT)である。
新規かつ効率的なLoRA変種であるMiLoRAを提案する。
MiLoRAは、各LoRAモジュールを専門家として考慮し、プロンプト対応のルーティング機構を採用することで、従来のMOEスタイルのLoRAメソッドと異なる。
論文 参考訳（メタデータ） (2024-10-23T17:04:40Z) - Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。
本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-24T05:24:41Z) - Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。
MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文 参考訳（メタデータ） (2024-04-21T11:59:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。