論文の概要: SLEM: Spectrum-Aware Latent Expert Merging
- arxiv url: http://arxiv.org/abs/2610.16484v1
- Date: Mon, 12 Oct 2026 09:38:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.346806
- Title: SLEM: Spectrum-Aware Latent Expert Merging
- Title（参考訳）: SLEM: スペクトル対応の遅延エキスパートマージ
- Abstract要約: Mixture-of-Experts (MoE)モデルでは、入力毎に少数の専門家のみをアクティベートすると同時に、すべてのパラメータをメモリに格納する必要があるため、かなりのメモリオーバーヘッドが発生する。
本稿では,VAEを用いた有意な重みの構造化された潜在表現において発生するキャリブレーションのないエキスパートマージフレームワークであるSLEMを提案する。
既存のエキスパートマージ手法と比較すると、SLEMは一般的な知識ベンチマークで同等またはより良い性能を達成し、数学的推論やコード生成を含む生成ベンチマークでより高い平均性能を達成している。
- 参考スコア（独自算出の注目度）: 46.960260976252215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixture-of-Experts (MoE) models scale model capacity efficiently by activating only a small subset of experts for each input, while still requiring all parameters to be stored in memory, resulting in substantial memory overhead. Expert merging techniques have recently emerged as a promising compression paradigm that reduces this overhead by consolidating multiple experts into a smaller set. However, existing approaches have two key limitations: (i) direct convex interpolation in parameter space is not generally guaranteed to yield meaningful interpolation of expert functions; and (ii) estimating expert similarity or merging coefficients often relies on calibration data, introducing dependence on the calibration distribution. To address these limitations, we propose Spectrum-Aware Latent Expert Merging (SLEM), a calibration-free expert merging framework that occurs in a structured latent representation of expert weights using a VAE. SLEM groups experts within and across layers based on latent similarities and derives merging coefficients from expert weight spectra. It then performs geometry-aware latent interpolation and decodes the resulting representations into merged expert weights. Compared with existing expert merging methods, SLEM achieves comparable or better performance on general knowledge benchmarks and higher average performance on generation benchmarks involving mathematical reasoning and code generation.
- Abstract（参考訳）: Mixture-of-Experts (MoE)モデルでは、入力毎に少数の専門家のみをアクティベートすると同時に、すべてのパラメータをメモリに格納する必要があるため、かなりのメモリオーバーヘッドが発生する。
エキスパートマージ技術は最近、複数の専門家を小さなセットにまとめることによって、このオーバーヘッドを減らす、有望な圧縮パラダイムとして登場した。
しかし、既存のアプローチには2つの重要な制限がある。
i)パラメータ空間における直接凸補間は、一般に専門家関数の有意義な補間をもたらすことが保証されていない。
二 専門家の類似性又は融合係数の推定は、しばしば校正データに依存し、校正分布に依存する。
これらの制約に対処するため,VAEを用いた有意な重みの構造化表現で発生するキャリブレーションのないエキスパートマージフレームワークであるSpectrum-Aware Latent Expert Merging (SLEM)を提案する。
SLEMは遅延類似性に基づく層内および層間の専門家グループであり、専門家の重量スペクトルからマージ係数を導出する。
その後、幾何対応の潜伏補間を行い、その結果の表現を融合した専門家の重みに復号する。
既存のエキスパートマージ手法と比較すると、SLEMは一般的な知識ベンチマークで同等またはより良い性能を達成し、数学的推論やコード生成を含む生成ベンチマークでより高い平均性能を達成している。
関連論文リスト
- Redundancy Meets Synergy: Dependency-aware Expert Selection for MoE via Submodular Optimization [61.27524718261322]
そこで我々は,DS-MoEを提案する。DS-MoEは,サブモジュールの差分最適化により,専門家の選択をナビゲートする理論的基盤を持つフレームワークである。
DS-MoEは必須のエキスパートの組み合わせを効果的に保存し,最先端のベースラインよりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2026-09-30T18:33:27Z) - Rethinking Expert Training for Model Merging with Prompt Learning [29.003417422329715]
モデルマージは、共有基盤モデルからトレーニングされた複数のドメイン特化専門家を単一のマルチタスクモデルに結合することを目的としている。
既存のアプローチは、マージ手順自体の改善に重点を置いている。
最初にプロンプトを学習し、次に視覚エンコーダを微調整する2段階のトレーニング戦略であるDual-Tuned Experts(DTE)を紹介する。
論文 参考訳（メタデータ） (2026-07-27T14:04:48Z) - HBridge: H-Shape Bridging of Heterogeneous Experts for Unified Multimodal Understanding and Generation [72.69742127579508]
最近の統一モデルでは、理解の専門家(LLMなど)と生成の専門家(拡散モデルなど)を統合している。
本研究では,非対称なH字型アーキテクチャであるHBridgeを提案する。
複数のベンチマークにわたる大規模な実験は、HBridgeの有効性と優れた性能を示している。
論文 参考訳（メタデータ） (2025-11-25T17:23:38Z) - Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。
SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。
近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。
本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
論文 参考訳（メタデータ） (2025-11-07T22:19:34Z) - Expert Merging in Sparse Mixture of Experts with Nash Bargaining [33.018789823349145]
NAMEx(Nash Merging of Experts)は,Bargaining Nashをマージプロセスに組み込んだ,新たなフレームワークである。
NAMExは競合するMoEアーキテクチャとシームレスに統合しながら、競合する手法よりも一貫して優れていることを示す。
Qwen1.5-MoE (14B) や DeepSeek-MoE (16B) といった大規模システムに適用することで NAMEx のスケーラビリティを実証する。
論文 参考訳（メタデータ） (2025-10-17T18:23:01Z) - Sub-MoE: Efficient Mixture-of-Expert LLMs Compression via Subspace Expert Merging [17.490596264046435]
Sub-MoE は Subspace Expert Merging による新しい MoE 圧縮フレームワークである。
我々の重要な洞察は、専門家の重み付けでSingular Value Decomposition(SVD)を共同で行うことです。
当社のSub-MoEは、既存のエキスパートプルーニングやマージ方法よりも大幅に優れています。
論文 参考訳（メタデータ） (2025-06-29T14:43:50Z) - Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。
MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。
標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
論文 参考訳（メタデータ） (2025-03-05T06:11:24Z) - Learning Mixtures of Experts with EM: A Mirror Descent Perspective [28.48469221248906]
古典的なMixtures of Experts(MoE)は、入力空間を含む機械学習モデルであり、各パーティションでトレーニングされた個別の"エキスパート"モデルである。
我々は,MoEモデルのトレーニングにおける期待最大化(EM)アルゴリズムの理論的保証について検討する。
論文 参考訳（メタデータ） (2024-11-09T03:44:09Z) - Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。
ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。
我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
論文 参考訳（メタデータ） (2023-12-01T23:04:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。