論文の概要: TalkLoRA: Communication-Aware Mixture of Low-Rank Adaptation for Large Language Models

• arxiv url: http://arxiv.org/abs/2604.06291v1
• Date: Tue, 07 Apr 2026 14:57:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.156918
• Title: TalkLoRA: Communication-Aware Mixture of Low-Rank Adaptation for Large Language Models
• Title（参考訳）: TalkLoRA: 大規模言語モデルのための低ランク適応のコミュニケーションと認識の混合
• Authors: Lin Mu, Haiyang Wang, Li Ni, Lei Sang, Zhize Wu, Peiquan Jin, Yiwen Zhang,
• Abstract要約: Low-Rank Adaptation (LoRA) はLarge Language Models (LLM) のパラメータ効率の良い微調整を可能にする 既存のMoE拡張LoRA手法は、専門家が独立して活動し、不安定なルーティングや専門家の優位性をもたらすと仮定する。 我々は、ルーティング前に専門家レベルのコミュニケーションを導入することで、この独立性を緩和する通信対応のMoELoRAフレームワークであるtextbfTalkLoRAを提案する。
• 参考スコア（独自算出の注目度）: 23.286371476904304
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Low-Rank Adaptation (LoRA) enables parameter-efficient fine-tuning of Large Language Models (LLMs), and recent Mixture-of-Experts (MoE) extensions further enhance flexibility by dynamically combining multiple LoRA experts. However, existing MoE-augmented LoRA methods assume that experts operate independently, often leading to unstable routing, expert dominance. In this paper, we propose \textbf{TalkLoRA}, a communication-aware MoELoRA framework that relaxes this independence assumption by introducing expert-level communication prior to routing. TalkLoRA equips low-rank experts with a lightweight Talking Module that enables controlled information exchange across expert subspaces, producing a more robust global signal for routing. Theoretically, we show that expert communication smooths routing dynamics by mitigating perturbation amplification while strictly generalizing existing MoELoRA architectures. Empirically, TalkLoRA consistently outperforms vanilla LoRA and MoELoRA across diverse language understanding and generation tasks, achieving higher parameter efficiency and more balanced expert routing under comparable parameter budgets. These results highlight structured expert communication as a principled and effective enhancement for MoE-based parameter-efficient adaptation. Code is available at https://github.com/why0129/TalkLoRA.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、Large Language Models (LLM)のパラメータ効率の良い微調整を可能にし、最近のMixture-of-Experts (MoE)拡張は、複数のLoRA専門家を動的に組み合わせることで、柔軟性をさらに強化する。 しかし、既存のMoE拡張LoRA法では、専門家は独立して活動し、しばしば不安定なルーティングや専門家の支配につながると仮定している。 本稿では、ルーティング前に専門家レベルのコミュニケーションを導入することで、この独立性の前提を緩和する通信対応のMoELoRAフレームワークである、‘textbf{TalkLoRA}’を提案する。 TalkLoRAは、専門家のサブスペース間で制御された情報交換を可能にする軽量なTalking Moduleを備え、ルーティングのためのより堅牢なグローバル信号を生成する。 理論的には,既存のMoELoRAアーキテクチャを厳格に一般化しながら摂動増幅を緩和することにより,専門家のコミュニケーションがルーティングのダイナミクスを円滑にすることを示す。 経験的に、TalkLoRAは、さまざまな言語理解および生成タスクにおいて、バニラLoRAとMoELoRAを一貫して上回り、より高いパラメータ効率と、同等のパラメータ予算下でのよりバランスの取れた専門家ルーティングを実現している。 これらの結果は、MoEに基づくパラメータ効率適応の原則的かつ効果的な強化として、構造化専門家のコミュニケーションを強調した。 コードはhttps://github.com/why0129/TalkLoRAで入手できる。

関連論文リスト

• CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging [49.87105462292961]
  Core Space Mixture of LoRA (bfCoMoL)は、専門家の多様性、パラメータ効率、きめ細かい適応を取り入れた新しいMoE-LoRAフレームワークである。 CoMoLは、複数のタスクで既存のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2026-02-28T09:40:11Z)
• DR-LoRA: Dynamic Rank LoRA for Mixture-of-Experts Adaptation [26.24723718425076]
  Mixture-of-Experts (MoE) はLarge Language Models (LLM) のスケーリングのパラダイムとして注目されている。 DR-LoRAと呼ばれる動的ランクのLoRAフレームワークを提案し、タスク固有の要求に基づいて微調整中に専門家のLoRAランクを動的に増加させる。 複数のベンチマークの実験では、DR-LoRAは同じパラメータ予算の下で標準のLoRAと静的アロケーション戦略を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-08T10:58:51Z)
• LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing [17.171872354057694]
  LoRA-Mixerはモジュール式で軽量なMoEフレームワークであり、LoRAの専門家を統合している。 私たちの中心となるイノベーションは、アテンションモジュールの入出力線形レイヤのプロジェクション行列をタスク固有のLoRA専門家に置き換えることです。 LoRA-Mixerは、GSM8K、HumanEval、MedQAといったデータセットの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2025-06-17T14:58:54Z)
• Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
  Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。 最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。 効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。 各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T06:56:39Z)
• MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning [9.91790333647256]
  低ランク適応法(LoRA)とその混合実験法(MOE)は,高効率なパラメータ効率微調整法(PEFT)である。 新規かつ効率的なLoRA変種であるMiLoRAを提案する。 MiLoRAは、各LoRAモジュールを専門家として考慮し、プロンプト対応のルーティング機構を採用することで、従来のMOEスタイルのLoRAメソッドと異なる。
  論文  参考訳（メタデータ） (2024-10-23T17:04:40Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。