論文の概要: MoEGen: Mixture-of-Experts for Instance-Adaptive LoRA Generation

• arxiv url: http://arxiv.org/abs/2608.03275v1
• Date: Tue, 04 Aug 2026 07:51:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.087338
• Title: MoEGen: Mixture-of-Experts for Instance-Adaptive LoRA Generation
• Title（参考訳）: MoEGen: インスタンス適応型LoRA生成のためのMixture-of-Experts
• Authors: Yiming Zeng, Lei Lu, Zexin Li, Zhuochun Li, Shuoqiu Li, Shuyi Liao, Xidong Wu, Zeyu Zhang, Minmei Wang, Yu Zhao, Tingting Yu, Shangqian Gao,
• Abstract要約: MoEGenは、MoEベースのPEFTをエキスパート選択からエキスパート条件パラメータ生成に移行する適応フレームワークである。 MoEGenは、各エキスパートを、エキスパートコードと呼ばれる、小さな学習可能なベクトルとして表現する。 8つのコモンセンス推論ベンチマークの実験では、強い静的およびMoEベースのPEFTベースラインよりも一貫した改善が見られた。
• 参考スコア（独自算出の注目度）: 29.127625777844617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) enables efficient adaptation of large language models, but existing MoE-based PEFT methods typically improve capacity by storing multiple full LoRA experts, causing adapter storage to grow linearly with the number of experts and restricting adaptation to a fixed expert pool. We ask whether MoE-based PEFT can produce instance-specific adaptations without explicitly storing a separate LoRA module for each expert. To address this gap, we propose MoEGen, an adaptation framework that shifts MoE-based PEFT from expert selection to expert-conditioned parameter generation. Instead of storing each expert as a full LoRA adapter, MoEGen represents each expert as a small learnable vector, termed an expert code. It routes each input over these vectors and uses their weighted combination to condition a lightweight hypernetwork that generates input-specific low-rank updates. This design decouples expert capacity from adapter storage while enabling instance-conditioned adaptation. Experiments on eight commonsense reasoning benchmarks show consistent improvements over strong static and MoE-based PEFT baselines across three backbones. MoEGen also performs strongly in joint medical and legal-domain adaptation.
• Abstract（参考訳）: パラメータ効率の良い微細チューニング(PEFT)は、大きな言語モデルの効率的な適応を可能にするが、既存のMoEベースのPEFTメソッドは、複数のLoRA専門家を格納することでキャパシティを向上し、アダプタストレージは専門家の数と線形に成長し、固定されたエキスパートプールへの適応を制限する。 各専門家に個別のLoRAモジュールを明示的に格納することなく、MoEベースのPEFTがインスタンス固有の適応を生成できるかどうかを問う。 このギャップに対処するため、我々は、MOEベースのPEFTをエキスパート選択からエキスパート条件付きパラメータ生成に移行する適応フレームワークであるMoEGenを提案する。 各専門家を完全なLoRAアダプタとして格納する代わりに、MoEGenは各専門家を、エキスパートコードと呼ばれる、学習可能な小さなベクタとして表現する。 それぞれの入力をこれらのベクトル上にルーティングし、重み付けされた組み合わせを使って、入力固有の低ランク更新を生成する軽量なハイパーネットワークを条件付けする。 この設計は、インスタンス条件の適応を可能にしながら、専門家の容量をアダプタストレージから切り離す。 8つのコモンセンス推論ベンチマークの実験では、3つのバックボーンにわたる強い静的およびMoEベースのPEFTベースラインよりも一貫した改善が見られた。 MoEGenはまた、共同医療と法-ドメインの適応にも力を入れている。

関連論文リスト

• MoE$^2$-LoRA: When MoE Models Meet MoE-style Low-Rank Adaptation [23.49321952252126]
  ミックス・オブ・エクササイズ(Mixture-of-Experts, MOE)アーキテクチャは大規模言語モデルで広く採用されているが、パラメータ効率のよいMOEモデルのための微細チューニング(PEFT)は未検討のままである。 我々は、MoEスタイルの低ランク適応でMoEモデルを微調整する最初の試みを行う: “MoE$2$-LoRA” と題された我々の手法は、タスク固有の適応性を備えた事前訓練された専門家専門化を深く結合する。
  論文  参考訳（メタデータ） (2026-07-24T04:50:39Z)
• DAG-MoE: From Simple Mixture to Structural Aggregation in Mixture-of-Experts [56.175408382091796]
  本研究では, 標準重み付け集約を構造集約に置き換えることにより, 専門家やルータを変更することなく, 専門家合成空間を拡大することを示す。 DAG-MoEは軽量モジュールを用いて,選択した専門家の最適な集約構造を自動的に学習するスパースMoEフレームワークである。
  論文  参考訳（メタデータ） (2026-05-31T07:08:16Z)
• CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging [49.87105462292961]
  Core Space Mixture of LoRA (bfCoMoL)は、専門家の多様性、パラメータ効率、きめ細かい適応を取り入れた新しいMoE-LoRAフレームワークである。 CoMoLは、複数のタスクで既存のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2026-02-28T09:40:11Z)
• LiME: Lightweight Mixture of Experts for Efficient Multimodal Multi-task Learning [9.408969079896528]
  MoE-PEFT法はMixture of Expertsとパラメータ効率の良い微調整を組み合わせたマルチタスク適応法である。 本稿では,アダプタレプリケーションではなく,軽量な変調によって専門的な特殊化を実現するLiMEを提案する。 MMT-47は、テキスト、画像、ビデオにまたがる47のタスクを持つマルチモーダルマルチタスクベンチマークである。
  論文  参考訳（メタデータ） (2026-02-01T01:37:34Z)
• TuckA: Hierarchical Compact Tensor Experts for Efficient Fine-Tuning [83.93651411533533]
  4つのキー特性を持つTucker Adaptation(TuckA)を導入する。 我々は,ルータのパラメータサイズを$L$の係数で削減する,効率的なバッチレベルルーティング機構を開発した。 自然言語理解、画像分類、数学的推論におけるベンチマーク実験は、TuckAの有効性を物語っている。
  論文  参考訳（メタデータ） (2025-11-10T09:03:16Z)
• L-MoE: End-to-End Training of a Lightweight Mixture of Low-Rank Adaptation Experts [10.21556794551883]
  L-MoE: LoRA エキスパートの軽量混合体について紹介する。 L-MoEは、MoEの専門家をタスク特化して低ランクのアダプタとして再定義する。 L-MoE の公式な数学的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-10-19T08:44:25Z)
• Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
  ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。 まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。 次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
  論文  参考訳（メタデータ） (2025-07-09T03:25:45Z)
• MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models [61.89384981175277]
  ローランド適応 (LoRA) とミックスオブエキスパート (MoE) を統合するための固有テキストbfMixture-of-Adapters (MoA) アプローチを提案する。 実験結果から, 不均一なMoAは均一なMoE-LoRA法よりも性能およびパラメータ効率が優れていることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T09:54:19Z)
• TT-LoRA MoE: Unifying Parameter-Efficient Fine-Tuning and Sparse Mixture-of-Experts [4.5558042369389105]
  TT-LoRA MoEはトレーニングを2つの異なる最適化段階に分解する。 まず、軽量かつテンソル化低ランクアダプタ(TT-LoRAエキスパート)を個別に訓練する。 その後、これらの専門家アダプタは凍結状態のままであり、マルチタスク設定でタスク間干渉を排除し、忘れる。 個別に訓練されたスパースMOEルータは、ベースモデル表現を動的に活用し、推論時に入力ごとに正確に1つの特別なアダプタを選択する。 総合的な実験により、我々のアーキテクチャは低ランクアダプタのメモリ効率を保ち、大きなエキスパートプールにシームレスにスケールし、堅牢なタスクレベルの最適化を実現する。
  論文  参考訳（メタデータ） (2025-04-29T21:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。