論文の概要: Spectral-MoE: Heterogeneous Per-Layer Expert Utilization in Dense-to-MoE Conversion

• arxiv url: http://arxiv.org/abs/2610.19232v1
• Date: Tue, 13 Oct 2026 21:48:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.820436
• Title: Spectral-MoE: Heterogeneous Per-Layer Expert Utilization in Dense-to-MoE Conversion
• Title（参考訳）: スペクトル-MoE:Dense-to-MoE変換における不均一な層ごとのエキスパート利用
• Abstract要約: 我々は、レイヤ間で不均一に利用予算を割り当てることを学ぶSpectral-MoEを紹介する。 解析に基づくSOTA法と学習に基づくSOTA-to-MoE法の両方において,両アロケータが一様であることを示す。
• 参考スコア（独自算出の注目度）: 0.07646713951724009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models impose substantial memory demands and arithmetic costs during inference. Dense-to-mixture-of-experts (MoE) conversion is a model optimization technique that aims to reduce these arithmetic costs. Dense-to-MoE conversion partitions pretrained feed-forward network (FFN) neurons into experts and selects a subset for each token. Leading methods fall into two categories: analytic methods produce a converted model quickly using heuristics, while learning methods produce a model much more slowly by optimizing via gradients. Both approaches, however, fix the same active expert count, or "utilization," at every layer. We introduce Spectral-MoE, which learns to allocate a utilization budget heterogeneously across layers. Its name draws a metaphor between separating a dense FFN into experts and separating a light beam into its spectrum. Spectral-MoE consists of two distinct approaches: a static approach that uses a single per-layer scalar which is shared across tokens, and a dynamic approach which emits a per-token schedule. We demonstrate that both allocators improve performance over uniform on both the analytic-based and learning-based SOTA dense-to-MoE methods. At 25% FFN utilization, dynamic allocation reduces WikiText-2 perplexity relative to uniform by 1.04, 2.96, and 2.71 points on the learned base for Llama-2-7B, Llama-3-8B, and Qwen2.5-7B, respectively. The corresponding reductions on the analytic base are 2.45, 6.26, and 2.17 points. On the learned base, dynamic allocation improves six-task mean accuracy over uniform by an average of 1.5, 4.2, and 3.6 percentage points across the three models at FFN utilizations of 12.5%, 25%, and 50%, respectively. These results establish per-layer expert utilization as a novel optimization axis in dense-to-MoE conversion.
• Abstract（参考訳）: 大規模言語モデルは、推論中にかなりのメモリ要求と演算コストを課す。 Dense-to-mixture-of-experts (MoE)変換は、これらの演算コストを削減することを目的としたモデル最適化手法である。 Dense-to-MoE変換は、事前訓練されたフィードフォワードネットワーク(FFN)ニューロンを専門家に分割し、トークンごとにサブセットを選択する。 分析法はヒューリスティックスを用いて変換されたモデルを素早く生成し、学習法は勾配を最適化することでモデルをよりゆっくりと生成する。 しかし、どちらのアプローチも、すべてのレイヤで同じアクティブな専門家数、すなわち"ユーティリティ化"を修正します。 我々は、レイヤ間で不均一に利用予算を割り当てることを学ぶSpectral-MoEを紹介する。 名前の由来は、密度の高いFFNを専門家に分け、光線をスペクトルに分けるという比喩である。 Spectral-MoEは2つの異なるアプローチで構成されている。トークン間で共有される1層ごとのスカラーを使用する静的アプローチと、トークン単位のスケジュールを出力する動的アプローチだ。 解析に基づくSOTA法と学習に基づくSOTA-to-MoE法の両方において,両アロケータが一様であることを示す。 25%のFFN利用で、動的アロケーションは、Llama-2-7B、Llama-3-8B、Qwen2.5-7Bの学習ベース上のWikiText-2パープレキシティを1.04、2.96、および2.71ポイント削減する。 解析ベースでの対応する減算は 2.45, 6.26, 2.17 点である。 学習ベースでは、動的アロケーションにより、平均1.5点、4.2点、および3つのモデルでそれぞれ12.5%、25%、50%の6タスク平均精度が向上する。 これらの結果は、高密度から高密度のMoE変換における新しい最適化軸として、層ごとのエキスパート利用を確立する。

関連論文リスト

• LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
  拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。 我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。 23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
  論文  参考訳（メタデータ） (2026-08-04T10:53:02Z)
• MixAtlas: Uncertainty-aware Data Mixture Optimization for Multimodal LLM Midtraining [13.388276899120065]
  MixAtlasは、検査、適応、新しいコーパスへの転送が可能な、ベンチマークターゲットのデータレシピを生成する。 視覚的理解、文書推論、マルチモーダル推論にまたがる10のベンチマークを評価した。
  論文  参考訳（メタデータ） (2026-04-03T04:26:43Z)
• MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts [0.0]
  大規模言語モデル(LLM)は、主に高密度トランスフォーマーとしてデプロイされ、すべてのトークンに対してフィードフォワードブロック内の全てのパラメータがアクティブになる。 MoEfication、CMoE、ToMoE、MoOREといった最近のアップサイクリング手法は、高密度フィードフォワードネットワーク内の疎小で半モジュラーなサブ構造に有用な計算の大部分が存在していることを明らかにしている。 本稿では,高密度の変圧器ブロックを静的な高心性混合体に再構成する学習自由変換であるMoE(MLP-Experts)を紹介する。
  論文  参考訳（メタデータ） (2025-11-26T06:14:26Z)
• MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
  我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。 MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
  論文  参考訳（メタデータ） (2025-11-19T18:48:27Z)
• Union of Experts: Adapting Hierarchical Routing to Equivalently Decomposed Transformer [7.230514235208748]
  我々は、変圧器モデルを等価な専門家グループに分解するUnion-of-Experts (UoE)を提案する。 言語モデリングタスクでは、最高の性能のMoE法と比較して、UoEはパープレキシティの平均2.38の削減を実現している。 画像分類では、最高のモデルよりも平均精度が1.75%向上する。
  論文  参考訳（メタデータ） (2025-03-04T11:01:25Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• Multi-body SE(3) Equivariance for Unsupervised Rigid Segmentation and Motion Estimation [49.56131393810713]
  本稿では、SE(3)同変アーキテクチャと、この課題に教師なしで取り組むためのトレーニング戦略を提案する。 本手法は,0.25Mパラメータと0.92G FLOPを用いて,モデル性能と計算効率を両立させる。
  論文  参考訳（メタデータ） (2023-06-08T22:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。