論文の概要: Shared Low-rank Basis Factorization for Data-free Mixture-of-Experts Compression

• arxiv url: http://arxiv.org/abs/2610.09342v1
• Date: Wed, 07 Oct 2026 03:01:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.687593
• Title: Shared Low-rank Basis Factorization for Data-free Mixture-of-Experts Compression
• Title（参考訳）: Data-free Mixture-of-Experts 圧縮のための共有低ランク基底因子化
• Abstract要約: Mixture-of-Experts (MoE) 大規模な言語モデルは、スパースルーティングを通じて計算からキャパシティを分離する。 筆者らは, 3つのMoE圧縮ファミリー, エキスパートプルーニング, エキスパートマージング, および重量再構成を分析した。 有識者間で共有されるランク=k$のベースを用いたデータフリーウェイト再構成手法であるSLBF(Shared Low-rank Basis Factorization)を提案する。
• 参考スコア（独自算出の注目度）: 35.618700364576256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) large language models decouple capacity from compute through sparse routing, but their large parameter count creates storage and serving challenges. We analyze three MoE compression families: expert pruning, expert merging, and weight reconstruction, and derive structural error bounds showing that pruning and merging can incur non-vanishing errors tied to routing and expert heterogeneity. In contrast, weight reconstruction avoids these structural costs by preserving expert structure and routing. Motivated by the analysis, we propose Shared Low-rank Basis Factorization (SLBF), a data-free weight reconstruction method that uses rank-$k$ bases shared among experts, enabling richer cross-expert sharing, faster convergence, and lower reconstruction error. A post-hoc gauge fixing removes redundant parameters at no representational cost. Across five MoE architectures spanning 16B to 122B parameters, SLBF consistently outperforms methods from all three compression families.
• Abstract（参考訳）: Mixture-of-Experts (MoE) 大規模言語モデルは、スパースルーティングを通じて計算能力から分離するが、その大きなパラメータカウントはストレージとサービス課題を生み出す。 専門家のプルーニング、専門家のマージング、および重量再構成の3つのMoE圧縮ファミリを分析し、プルーニングとマージングがルーティングと専門家のヘテロジニティに結びついた非消滅エラーを引き起こすことを示す構造的エラー境界を導出する。 対照的に、重み再構築は、専門家の構造とルーティングを保存することによって、これらの構造コストを回避する。 そこで本研究では,有識者間で共有されるランク=k$のベースを用いて,よりリッチなクロスエキスパート共有,より高速な収束,低い再構成誤差を実現するデータフリーウェイト再構成手法であるSLBFを提案する。 ポストホックゲージの固定は、表現コストのない冗長パラメータを除去する。 16Bから122Bのパラメータにまたがる5つのMoEアーキテクチャにおいて、SLBFは3つの圧縮ファミリのメソッドを一貫して上回っている。

関連論文リスト

• Shape Mutating Expert Compression:LorExperts and BTExperts [2.1379997697274598]
  Mixture-of-Experts (MoE)言語モデルは、トーケンの少ない計算量で高い能力を提供するが、それらを安価にデプロイするには、多くの専門家の重量行列を圧縮する必要がある。 我々は、ルータアクティベーション圧縮手法であるLorExpertsを紹介し、専門家をクラスタ化し、クラスタ毎に1つの完全精度を優先し、残りのメンバを局所的な支配者に対する低ランクの修正として表現する。
  論文  参考訳（メタデータ） (2026-08-07T23:23:40Z)
• Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients [22.724544289853558]
  FedSLMは異種圧縮クライアントとのファインチューニングのためのパラメータ中心のフレームワークである。 我々は,アダプタレベルのアグリゲーションの理論的保証,グループ間融合における部分空間アライメント境界,および信頼損失が弱いスーパービジョンノイズを緩和する方法のキャラクタリゼーションを提供する。
  論文  参考訳（メタデータ） (2026-07-31T06:45:56Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• SPRI: SVD-Partitioned Residual Initialization for Data-Constrained MoE Upcycling [58.910165627759824]
  Mixture-of-Experts (MoE)モデルは効率的なスケーリングを可能にするが、それらをスクラッチからトレーニングすることは違法に高価である。 MoEは、トレーニング済みの高密度モデルをスパースMOEモデルに変換することで、このコストを軽減します。 本稿では,SVD-Partitioned Residual Initialization (SPRI)を提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:28:24Z)
• DAG-MoE: From Simple Mixture to Structural Aggregation in Mixture-of-Experts [56.175408382091796]
  本研究では, 標準重み付け集約を構造集約に置き換えることにより, 専門家やルータを変更することなく, 専門家合成空間を拡大することを示す。 DAG-MoEは軽量モジュールを用いて,選択した専門家の最適な集約構造を自動的に学習するスパースMoEフレームワークである。
  論文  参考訳（メタデータ） (2026-05-31T07:08:16Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• ERMoE: Eigen-Reparameterized Mixture-of-Experts for Stable Routing and Interpretable Specialization [13.182475975397251]
  ERMoEは、学習したゲーティングログを"Eigenbasis Score"に置き換えるスパースなMoE変換器である ERMoE は ImageNet 分類と クロスモーダル画像テキスト検索ベンチマークにおける最先端の精度を実現する。 3D MRI変異体(ERMoE-ba)は、脳年齢予測の精度を7%以上改善し、解釈可能な専門家の専門化をもたらす。
  論文  参考訳（メタデータ） (2025-11-14T05:31:37Z)
• Flow-Matching Guided Deep Unfolding for Hyperspectral Image Reconstruction [53.26903617819014]
  Flow-Matching-Guided Unfolding Network (FMU)は、最初にフローマッチングをHSI再構成に統合する。 学習力学をさらに強化するために,平均速度損失を導入する。 シミュレーションと実データの両方の実験により、FMUは復元品質において既存のアプローチよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2025-10-02T11:32:00Z)
• Breaking the MoE LLM Trilemma: Dynamic Expert Clustering with Structured Compression [14.086434595924716]
  Mixture-of-Experts (MoE) Large Language Models (LLM) は負荷不均衡、パラメータの冗長性、通信オーバーヘッドのトリレンマに直面している。 動的専門家クラスタリングと構造化圧縮に基づいて統合されたフレームワークを導入し,これらの問題に協調的に対処する。
  論文  参考訳（メタデータ） (2025-09-27T10:45:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。