論文の概要: Fine-Grained Units, Flat Decisions: Hierarchical Micro-Expert Pruning for Mixture-of-Experts Models

• arxiv url: http://arxiv.org/abs/2610.25717v1
• Date: Mon, 19 Oct 2026 03:10:28 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:24:23.030146
• Title: Fine-Grained Units, Flat Decisions: Hierarchical Micro-Expert Pruning for Mixture-of-Experts Models
• Title（参考訳）: 微粒化, 平坦化の決定: 混合実験モデルのための階層的マイクロエクストラルトプルーニング
• Abstract要約: マイクロ・エキスパート・プルーニングは、ルーティングされたエキスパート内の結合チャネルを取り除くことで、Mix of-experts(MoE)モデルのキャパシティを低減する。 UC-RAMPは、これらの決定を明示的に分離する2段階の訓練後プルーニングフレームワークである。 UC-RAMPは評価プルーニング法のうち,6つの設定のうち,最大10タスク平均精度を達成している。
• 参考スコア（独自算出の注目度）: 14.478091932225373
• License:
• Abstract: Micro-expert pruning reduces the capacity of mixture-of-experts (MoE) models by removing coupled channels within routed experts. However, finer pruning granularity alone does not guarantee the preservation of downstream capabilities, as similar language-modeling perplexity can accompany substantially different task performance. We revisit micro-expert mask construction as two distinct decisions: allocating retained capacity across experts and selecting channels within that capacity. We propose UC-RAMP, a two-stage post-training pruning framework that explicitly separates these decisions. CAPE uses cross-domain calibration evidence to redistribute expert widths under an exact layer-wise budget, while RAMP refines channel composition at fixed widths through one-out, one-in exchanges guided by a channel-interaction surrogate. Across three MoE models at 25% and 50% routed-expert channel pruning, UC-RAMP achieves the highest ten-task mean accuracy among evaluated pruning methods in five of six settings. At 50% pruning, it outperforms the strongest evaluated baseline by 8.19, 3.96, and 6.14 percentage points across the three models, respectively. In a single-A100 deployment at 25% pruning, UC-RAMP reduces measured time to first token by 19.7--23.9% and time per output token by 20.2--22.3% relative to the unpruned model. The code is available at https://github.com/xzktx003/UC_RAMP.
• Abstract（参考訳）: マイクロ・エキスパート・プルーニングは、ルーティングされた専門家の中で結合チャネルを取り除くことで、Mix of-experts(MoE)モデルの容量を減少させる。 しかし, より微細な刈り込み粒度だけでは, ダウンストリーム能力の維持は保証されない。 我々は,マイクロエキスパートマスクの構築を,専門家間での保持能力の割り当てと,その容量内でのチャネルの選択という,2つの異なる決定として再考する。 UC-RAMPは、これらの決定を明示的に分離する2段階の訓練後プルーニングフレームワークである。 CAPEは、クロスドメインキャリブレーションの証拠を使用して、専門家の幅を再分配し、RAMPはチャネル・インタラクション・サロゲートによってガイドされるワンイン交換を通じて、固定幅のチャネル合成を洗練する。 UC-RAMPは,3つのMoEモデルのうち25%と50%のルーティング済みチャンネルプルーニングにおいて,評価プルーニング手法の最大10タスク平均精度を6つの設定で達成している。 50%のプルーニングで評価ベースラインを8.19、3.96、および6.14ポイントでそれぞれ上回っている。 25%のプルーニングでのシングルA100デプロイメントでは、UC-RAMPは測定時間を最初のトークンに19.7-23.9%、出力トークンごとに20.2-22.3%削減する。 コードはhttps://github.com/xzktx003/UC_RAMPで公開されている。

関連論文リスト

• DivMoE: Fine-Grained MoE Upcycling via Cross-Domain Expert Composition [19.57775517367345]
  DivMoEは、構造的バランスの取れたルーティングできめ細かいMoEアップサイクルを実現する最初のフレームワークである。 2つのベースモデルと15のベンチマークで、DivMoEは一貫して6つのアップサイクルベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-10-08T06:23:01Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• Pruning and Distilling Mixture-of-Experts into Dense Language Models [13.03679207895992]
  Mixture-of-Experts (MoE) は現在、フロンティア言語モデルの主要なアーキテクチャである。 トレーニングされたMoEを標準の完全高密度アーキテクチャに変換するための,最初の体系的フレームワークを提案する。 我々は,Qwen3-30B-A3Bを用いて,7つのスコア,5つのグループ化,および2つのスケール法を評価し,350の構成を得た。
  論文  参考訳（メタデータ） (2026-05-27T09:27:36Z)
• AIMER: Calibration-Free Task-Agnostic MoE Pruning [12.732331870876182]
  簡単なキャリブレーションフリーの基準であるAIMERを導入する。 7Bから30B MoE言語モデル全体の25%と50%のプルーニング比率を16ベンチマークで比較すると、AIMERは一貫して、競争力のある、あるいはより強い全体的なパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2026-03-19T04:54:37Z)
• MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
  我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。 MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
  論文  参考訳（メタデータ） (2025-11-19T18:48:27Z)
• CAMERA: Multi-Matrix Joint Compression for MoE Models via Micro-Expert Redundancy Analysis [55.099051077903766]
  MoE(Mixture-of-Experts)を備えた大規模言語モデルは、計算と記憶のオーバーヘッドに悩まされる。 行列にまたがるより微細な圧縮ユニットとしてマイクロエキスパートを導入する。 マイクロエキスパートのための構造化プルーニングフレームワークであるCAMERA-Pと、マイクロエキスパート向けに設計された混合精度量子化アイデアであるCAMERA-Qを提案する。
  論文  参考訳（メタデータ） (2025-08-04T11:42:48Z)
• Unifying Mixture of Experts and Multi-Head Latent Attention for Efficient Language Models [1.7272658301768147]
  MoE-MLA-RoPEは、Mixture of Experts (MoE)とMulti-head Latent Attention (MLA)とRotary Position Embeddings (RoPE)を組み合わせた、効率的な言語モデリングのための新しいアーキテクチャの組み合わせである。 提案手法は,3つの重要なイノベーションを通じて,モデル容量と計算効率の基本的なトレードオフに対処する。
  論文  参考訳（メタデータ） (2025-08-02T08:33:30Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。