論文の概要: UniMoMo: Expert Merging-Based MoE Acceleration for Large Recommendation Models
- arxiv url: http://arxiv.org/abs/2608.08627v1
- Date: Sun, 09 Aug 2026 10:20:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.888516
- Title: UniMoMo: Expert Merging-Based MoE Acceleration for Large Recommendation Models
- Title（参考訳）: UniMoMo:大規模リコメンデーションモデルのためのエキスパートマージベースのMoE加速
- Abstract要約: 制約付きグラフ粗大化問題として定式化された後処理圧縮フレームワークUniMoを紹介する。
UniMoMoは、専門家が共有レコメンデーションステートにどのように反応するかを測定するために、ラベルなしのキャリブレーションセットを使用して、機能的な類似性に基づいて専門家をグループ化する。
性能劣化を防止するため,高信頼度専門家の合併を制限する層適応型保護機構を導入する。
- 参考スコア（独自算出の注目度）: 25.067801276191705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse mixture-of-experts (MoE) layers expand recommendation capacity through conditional computation, yet a trained checkpoint still stores and routes over its full expert bank. We study a deployment problem: convert that checkpoint to a smaller standard MoE under an explicit expert budget, without adding a compression-specific online module. To address this, we introduce UniMoMo, a post-training compression framework formulated as a constrained graph coarsening problem. Rather than relying on parameter distance, UniMoMo groups experts based on their functional similarity, using an unlabeled calibration set to measure how similarly experts respond to shared recommendation states. To prevent performance degradation, we introduce a layer-adaptive protection mechanism that restricts the merging of high-traffic experts based on their routing exposure. Across Amazon Beauty, KuaiRec, and TenRec with 2, 4, and 6 MoE blocks, the final four-expert checkpoints obtain source-relative five-run mean NDCG@10 ratios of 99.92%--102.30% and measured A100 speedups of 1.28$\times$--1.63$\times$. An aggressive two-expert, top-1 operating point obtains ratios of 98.36%--104.24% and speedups of 1.47$\times$--2.21$\times$. These endpoint results evaluate the complete conversion-and-adaptation workflow and show that a trained recommendation MoE can be exported at multiple serving budgets.
- Abstract（参考訳）: Sparse Mixed-of-Experts (MoE) レイヤは条件付き計算によって推奨能力を拡張するが、トレーニングされたチェックポイントは依然として、そのフルエキスパートバンク上に格納およびルートを格納する。
我々は、そのチェックポイントを、圧縮固有のオンラインモジュールを追加することなく、明示的な専門家予算の下で、より小さな標準MoEに変換するという、デプロイメントの問題を研究する。
そこで本研究では,制約付きグラフ粗大化問題として定式化された後処理圧縮フレームワークUniMoを紹介する。
パラメータ距離に頼るのではなく、UniMoMoグループの専門家は機能的類似性に基づいて、未ラベルのキャリブレーションセットを使用して、専門家が共有レコメンデーションステートにどのように反応するかを測定する。
性能劣化を防止するため,ハイトラフの専門家の経路露出によるマージを制限する層適応型保護機構を導入する。
Amazon Beauty, KuaiRec, TenRec の2, 4, 6 MoE ブロックで、最後の4つの専門家チェックポイントはソース相対5ランの平均 NDCG@10 の99.92%--102.30%、A100 のスピードアップは 1.28$\times$--1.63$\times$ となる。
アグレッシブな2つの専門家、トップ1の運用ポイントは98.36%--104.24%、スピードアップは1.47$\times$--2.21$\times$である。
これらのエンドポイントは、完全な変換適応ワークフローを評価し、トレーニングされた推奨MoEを複数のサービス予算でエクスポート可能であることを示す。
関連論文リスト
- Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models [3.749501286035187]
再正規化は暗黙的に専門家のアウトプットゲインをトレーニングのトップ$k$に校正することを示す。
再正常化を完全に除去することは破滅的であり、適切な基準質量を維持することが重要であることを示す。
論文 参考訳（メタデータ） (2026-09-04T00:11:28Z) - DeaMoE: Efficient MoE Structure for Fast Small-Batch Decoding [6.518553233393689]
DeaMoEはデコード効率のよいMoEアーキテクチャで、専門家を複数の部門に分けて構成する。
バニラのMoEと比較して、DeaMoEはステップごとのロード重量を最大50.9%削減し、最大1.33のエンドツーエンドTPOTスピードアップを達成する。
論文 参考訳（メタデータ） (2026-08-14T15:25:32Z) - AcceptMoE: Commitment-Weighted Self-Sizing Verifier Expert Sets for Efficient MoE Speculative Decoding [21.76650680783374]
投機的復号化は、1つのターゲットモデルフォワードパスにおけるドラフトトークンのツリーを検証する。
ミックス・オブ・エキスパート(MoE)ターゲットの場合、並列検証はすべてのツリーノードから選択された専門家の団結を活性化することができる。
本稿では,検証側の専門家セレクタであるAcceptMoEを紹介する。
論文 参考訳（メタデータ） (2026-08-04T01:01:12Z) - Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。
我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-06-16T06:53:27Z) - From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models [0.2230291569252836]
本研究では,Mixture-of-Experts (MoE) プルーニングにおけるルーティング統計の利用について検討する。
あらゆるモデルにおいて因果的専門家の重要性を予測する観察的指標は見つからない。
以上の結果から, 人口レベルの観察結果から, 専門家の重要度に関するトークンレベルの介入主張まで, 共通の推論段階に対する明確な反例が得られた。
論文 参考訳（メタデータ） (2026-06-09T11:04:19Z) - dMoE: dLLMs with Learnable Block Experts [71.572316901001]
単純なブロックレベルのMoEフレームワークであるdMoEを提案する。
また,dMoEは,推論中に一意に活性化される専門家の数を著しく減少させることを示した。
また、メモリ使用量を76.64%から79.84%に減らし、1.14$times$から1.66$times$エンドツーエンドのレイテンシ高速化を実現している。
論文 参考訳（メタデータ） (2026-05-29T06:03:50Z) - SecMoE: Communication-Efficient Secure MoE Inference via Select-Then-Compute [14.230239851387566]
プライバシー保護トランスフォーマー推論は、個人情報の漏洩の可能性から注目を集めている。
プライバシと効率の制限に対処するため,2PCのプライバシ保護推論フレームワークSecMoEを提案する。
5つの専門家設定の下で、SecMoEはエンドツーエンドのプライベート通信を1.8$7.1$times$に下げ、1.3$sim$3.8$times$スピードアップを達成する。
論文 参考訳（メタデータ） (2026-01-11T06:49:09Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。
静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
論文 参考訳（メタデータ） (2025-10-13T03:12:46Z) - DeepSeekMoE: Towards Ultimate Expert Specialization in
Mixture-of-Experts Language Models [26.447210565680116]
本稿では,DeepSeekMoEアーキテクチャを究極的専門家専門化に向けて提案する。
1) 専門家を$mN$に細分化し、そこから$mK$を活性化し、活性化された専門家のより柔軟な組み合わせを可能にする。
We show that DeepSeekMoE achieves comparable performance with GShard 2.9B。
論文 参考訳（メタデータ） (2024-01-11T17:31:42Z) - Patch-level Routing in Mixture-of-Experts is Provably Sample-efficient
for Convolutional Neural Networks [74.68583356645276]
ディープラーニングでは、Mixix-of-experts(MoE)が、サンプル単位またはトーケン単位で専門家(サブネットワーク)を活性化する。
我々は,pMoEが適切な一般化を実現するために,必要なトレーニングサンプル数を確実に削減できることを初めて示す。
論文 参考訳（メタデータ） (2023-06-07T00:16:10Z) - Task-Specific Expert Pruning for Sparse Mixture-of-Experts [105.20605021416276]
Mixture-of-Experts (MoE) モデルは大規模な事前トレーニングには強力である。
MoEはクラウドやモバイル環境にデプロイするのは難しい。
本稿では,目標下流タスクの非専門的専門家を段階的に降ろす方法を提案する。
論文 参考訳（メタデータ） (2022-06-01T07:09:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。