論文の概要: Routing Is Not Enough: Diagnosing Intra-Adapter Subspace Contention in MoE+LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2609.03150v1
• Date: Wed, 02 Sep 2026 20:32:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.856368
• Title: Routing Is Not Enough: Diagnosing Intra-Adapter Subspace Contention in MoE+LoRA Fine-Tuning
• Title（参考訳）: MoE+LoRAファインチューニングにおけるアダプタサブスペースコンテントの診断
• Abstract要約: 専門家内部における構造的分離は、ルーティングやランク展開以外にもメリットがあることを示す。 Phi-tiny-MoE-instruct と OLMoE-1B-7B 上でのSpawnLoRA の評価を行った。
• 参考スコア（独自算出の注目度）: 5.1218486126698135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-domain fine-tuning often combines MoE routing with LoRA, assuming that token-level routing separates domain-specific updates. We test this assumption in MoE+LoRA using Python code paired with biomedical text and mathematical reasoning. Although these domains show near-disjoint expert routing, adding biomedical data substantially increases code perplexity, indicating that routing separation alone may not prevent negative transfer. To localize the failure, we introduce Jaccard routing overlap and adapter-gradient cosine similarity, which measure expert sharing and update compatibility, respectively. These diagnostics indicate that interference arises mostly from nearly orthogonal domain gradients competing within the same low-rank adapter subspace. We address this issue with SpawnLoRA, which dynamically adds gated sub-adapters inside MoE experts when adapter-level contention is detected, while keeping the router fixed. We evaluate SpawnLoRA on Phi-tiny-MoE-instruct and OLMoE-1B-7B across multiple mixture settings and find that it effectively reduces negative transfer compared with standard and rank-adaptive LoRA. These results demonstrate that structural separation inside experts provides benefits beyond routing or rank expansion alone.
• Abstract（参考訳）: トークンレベルのルーティングがドメイン固有の更新を分離すると仮定して、マルチドメインの微調整はしばしばMoEルーティングとLoRAを組み合わせる。 バイオメディカルテキストと数学的推論を組み合わせたPythonコードを用いて,この仮定をMoE+LoRAで検証する。 これらのドメインは相反する専門家のルーティングを示すが、バイオメディカルデータを追加することでコードの難易度が大幅に増加し、ルーティング分離だけでは負の転送を防げないことを示す。 障害をローカライズするために、専門家の共有と更新の互換性をそれぞれ測定するJaccardルーティングオーバーラップとアダプタグレートなコサイン類似性を導入する。 これらの診断は、干渉は主に、同じ低ランクのアダプタ部分空間内で競合するほぼ直交する領域勾配から生じることを示している。 この問題に対処するSpawnLoRAは、アダプタレベルの競合が検出されたときにMoEエキスパートにゲート付きサブアダプタを動的に追加し、ルータを固定する。 我々は、Phi-tiny-MoE-instructとOLMoE-1B-7BのSpawnLoRAを複数の混合条件で評価し、標準およびランク適応型LoRAと比較して負の移動を効果的に減少させることを示した。 これらの結果は、専門家内部における構造的分離が、ルーティングやランク展開以外の利益をもたらすことを示している。

関連論文リスト

• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning [29.371418314402565]
  異種クライアントは アダプタアグリゲーションを不安定にできる クライアント固有のLoRAサブスペースを割り当てる動的サブスペースブースティング(Dysco)を提案する。 ディスコは干渉を著しく減らし、最終ラウンドの合成訓練損失を最大9倍に削減する。
  論文  参考訳（メタデータ） (2026-07-15T21:15:35Z)
• Shift-Dependent Asymmetry: Orthogonal Inverse Low-Rank Adaptation for Federated Medical Segmentation [60.41721951405564]
  Low-Rank Adaptation (LoRA)は、医療画像のためのセグメンテーション基盤モデルの効率的なフェデレーション微調整を可能にする。 ほとんどの連合LoRA法は、医学的セグメンテーションにおいてエンコーダ-デコーダ非対称性の下で破れる一様アグリゲーション規則を採用している。 このミスマッチの絡み合いは、サイト固有のバイアスと解剖を共有し、一般化を損なう。 本稿では,効率的な更新空間における共有局所コリニアリティを罰する部分空間直交正規化器を提案する。
  論文  参考訳（メタデータ） (2026-06-07T15:39:28Z)
• Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts [49.09151538536423]
  Mixture-of-experts (MoE)モデルはトークンごとに専門家のサブセットだけを活性化することでスケーラブルなトランスフォーマーアーキテクチャを実現する。 最近の証拠は、より粒度の細かい専門家、すなわち、少数の大きな専門家ではなく、多くの小さな専門家によって、パフォーマンスが向上することを示している。 ベクトル量子化(VQ)に基づく逆インデックス型ルーティングアーキテクチャである MoE (AIR-MoE) の適応型逆インデックスルーティングを導入する。
  論文  参考訳（メタデータ） (2026-05-06T14:15:10Z)
• ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning [85.39146836671897]
  低ランクアダプタ(LoRAs)は、トレーニング可能な低ランク行列をトレーニング済みモデルに注入し、新しいタスクに適応するパラメータ効率の微調整技術である。 既存のMixture-of-LoRAsルータは学習したルーティングウェイトを各LoRAに割り当て、ルータのエンドツーエンドのトレーニングを可能にする。 Reinforcement Routing for Mixture-of-LoRAs (ReMix) と呼ばれる新しいルータを提案する。
  論文  参考訳（メタデータ） (2026-03-10T18:51:27Z)
• CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging [49.87105462292961]
  Core Space Mixture of LoRA (bfCoMoL)は、専門家の多様性、パラメータ効率、きめ細かい適応を取り入れた新しいMoE-LoRAフレームワークである。 CoMoLは、複数のタスクで既存のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2026-02-28T09:40:11Z)
• Route-DETR: Pairwise Query Routing in Transformers for Object Detection [11.46025964297103]
  Detection Transformer (DETR) はオブジェクト検出のためのエンドツーエンドソリューションを提供する。 DETRは、複数のクエリが同じ位置に収束する非効率なクエリ競合に悩まされている。 本稿では,デコーダの自己アテンション層における適応的ペアワイズルーティングを通じて,これらの問題に対処するRoute-DETRを提案する。
  論文  参考訳（メタデータ） (2025-12-15T20:26:58Z)
• FlyLoRA: Boosting Task Decoupling and Parameter Efficiency via Implicit Rank-Wise Mixture-of-Experts [44.21416999726094]
  Low-Rank Adaptation (LoRA) は基礎モデルのパラメータ効率の高い微調整法である。 MoEベースのLoRA変種は、単一タスクの命令チューニングにおいて、タスク内相関を緩和する。 FlyLoRA は暗黙の MoE ベースの LoRA 変種であり、アッププロジェクション行列にランクワイズの専門家アクティベーションを導入する。
  論文  参考訳（メタデータ） (2025-10-09T16:17:13Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning [9.91790333647256]
  低ランク適応法(LoRA)とその混合実験法(MOE)は,高効率なパラメータ効率微調整法(PEFT)である。 新規かつ効率的なLoRA変種であるMiLoRAを提案する。 MiLoRAは、各LoRAモジュールを専門家として考慮し、プロンプト対応のルーティング機構を採用することで、従来のMOEスタイルのLoRAメソッドと異なる。
  論文  参考訳（メタデータ） (2024-10-23T17:04:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。