Fugu-MT 論文翻訳(概要): PRIME: Frequency-Aware Unified Pruning and Merging for MoE Compression

論文の概要: PRIME: Frequency-Aware Unified Pruning and Merging for MoE Compression

arxiv url: http://arxiv.org/abs/2610.13982v1
Date: Wed, 23 Sep 2026 08:41:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-21 06:40:30.68876
Title: PRIME: Frequency-Aware Unified Pruning and Merging for MoE Compression
Title（参考訳）: PRIME:MoE圧縮のための周波数対応統一プルーニングとマージング
Abstract要約: 既存の圧縮手法は、専門家の刈り取りとマージを不合理な操作として扱い、欲求に頼り、情報喪失や表現的汚染につながる。適応型PRunIngによるMoE圧縮のための統一最適化フレームワークPRIMEを提案する。 PRIME は知識,コーディング,数学,長期コンテキストのタスクに対して高い精度の保持を実現し,統合されたモデルのベンチマークにより,vLLM におけるエキスパート圧縮のメモリとスループットの利点を定量化できることを示す。
参考スコア（独自算出の注目度）: 5.983732665612023
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Mixture-of-Experts (MoE) models have emerged as an effective paradigm for scaling large language models, yet their massive parameter footprint poses severe memory challenges for deployment. Existing compression methods typically treat expert pruning and merging as disjoint operations and rely on greedy heuristics, often leading to irreversible information loss or representational pollution. In this paper, we propose PRIME, a unified optimization framework for MoE compression via adaptive PRunIng and MErging. PRIME casts the discrete prune-merge assignment step as a global Integer Linear Programming over a frequency-weighted surrogate objective, jointly selecting pruning and merging decisions while accounting for expert usage. We motivate the frequency-aware objective through an error-bound analysis under fixed representative assignments, and show that the formulation favors high-frequency experts as centroids, promoting routing stability. Extensive experiments on Qwen3-30B-A3B and Qwen3.5-122B-A10B demonstrate that PRIME achieves strong accuracy retention across knowledge, coding, math, and long-context tasks, while serving benchmarks of merged models quantify the memory and throughput benefits of expert compression in vLLM.
Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、大規模な言語モデルをスケールするための効果的なパラダイムとして登場したが、その膨大なパラメータフットプリントは、デプロイメントに深刻なメモリ障害をもたらす。既存の圧縮法は通常、専門家の刈り取りとマージを不合理な操作として扱い、強欲なヒューリスティックに依存し、しばしば不可逆的な情報損失や表現的汚染をもたらす。本稿では,適応型PRunIngとMergingによるMoE圧縮のための統一最適化フレームワークであるPRIMEを提案する。 PRIMEは、周波数重み付けされたサロゲート目的に対してグローバルな整数線形プログラミングとして、離散的なプルー・マージ割り当てステップをキャストし、専門家の使用を考慮しつつ、プルーニングとマージ決定を共同で選択する。固定された代入条件下でのエラーバウンド解析により周波数認識の目的を動機付け、この定式化が高頻度の専門家をセンチロイドとして好んでおり、ルーティング安定性が促進されていることを示す。 Qwen3-30B-A3B と Qwen3.5-122B-A10B の大規模な実験により、PRIME は知識、コーディング、数学、長いコンテキストのタスクにまたがる高い精度の保持を達成する一方で、統合モデルのベンチマークは、vLLM におけるエキスパート圧縮のメモリとスループットの利点を定量化する。

関連論文リスト

OMP-MoE: Efficient Expert Pruning for Mixture-of-Experts LLMs via Orthogonal Matching Pursuit [34.38277579500318]
Mixture-of-Experts(MoE)モデルは、大規模な言語モデルの効率的なスケーリングを可能にするが、大規模なメモリ要求のため、重要なデプロイメント課題に直面している。我々は,OMP-MoEを提案する。OMP-MoEは,MOEベースのLLMにおいて,専門家の冗長性を低減できる新しいトレーニングフリー圧縮フレームワークである。 Qwen、DeepSeek-V2、GPT-OSS、Mixtral MoEの総合的な実験では、既存の方法よりも25～50%のプルーニング比で一貫した改善が示された。
論文参考訳（メタデータ） (2026-09-09T08:01:34Z)
Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2026-06-16T06:53:27Z)
Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding [56.38477453373368]
LazyMCoTは動的でトレーニング不要なフレームワークで、サンプルの難易度に基づいて視覚的接地作業を適応的に割り当てる。 LazyMCoTは、推論精度を同時に改善し、平均推論レイテンシを低減することで、トレーニングベースのアプローチと競合する。
論文参考訳（メタデータ） (2026-06-15T03:17:44Z)
A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
論文参考訳（メタデータ） (2026-02-23T15:11:16Z)
CREM: Compression-Driven Representation Enhancement for Multimodal Retrieval and Comprehension [49.6969505536365]
生成能力を保ちつつ、検索のためのマルチモーダル表現を強化する統一的なフレームワークであるCREMを提案する。 CREMはMMEB上での最先端検索性能を達成し,複数の理解ベンチマーク上での強力な生成性能を維持する。
論文参考訳（メタデータ） (2026-02-22T08:09:51Z)
Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
論文参考訳（メタデータ） (2026-02-12T02:38:57Z)
Advancing Model Refinement: Muon-Optimized Distillation and Quantization for LLM Deployment [1.0858059444801136]
大規模言語モデル(LLM)は、高度な自然言語処理を可能にするが、リソース制約のあるエッジデバイス上でのデプロイメント上の課題に直面している。本稿では,GPTQに基づく量子化,ローランク適応(LoRA),特殊データ蒸留プロセスを組み合わせた統合フレームワークを提案する。
論文参考訳（メタデータ） (2026-01-14T20:50:30Z)
Single Domain Generalization with Model-aware Parametric Batch-wise Mixup [22.709796153794507]
単一ドメインの一般化は、マシンラーニングの分野において、依然として深刻な課題である。本稿では,モデル認識型パラメトリックバッチ・ワイド・ミックスアップ(Parametric Batch-wise Mixup)と呼ばれる新しいデータ拡張手法を提案する。機能間相関を利用することで、パラメータ化されたミックスアップジェネレータは、複数のインスタンスにまたがる機能の組み合わせにおいて、さらなる汎用性を導入する。
論文参考訳（メタデータ） (2025-02-22T03:45:18Z)
Mixture Compressor for Mixture-of-Experts LLMs Gains More [71.0473038084673]
我々は、Mixture-of-Experts Large Language Model (MoE-LLMs) のためのトレーニング不要なMixture-Compressorを提案する。我々のMCは静的量子化と動的プルーニングを統合し、より少ない精度でMoE-LLMの極端な圧縮を実現する。例えば、2.54ビットでは、MCは76.6%を圧縮し、平均精度損失は3.8%である。
論文参考訳（メタデータ） (2024-10-08T18:09:38Z)
The Cost of Compression: Investigating the Impact of Compression on Parametric Knowledge in Language Models [11.156816338995503]
大規模言語モデル(LLM)は、より高速な推論、メモリフットプリントの縮小、ローカルデプロイメントを可能にする。 2つの標準的な圧縮手法はプルーニングと量子化であり、前者はモデル層における冗長な接続を排除し、後者はより少ないビットでモデルパラメータを表現する。 LLM圧縮に関する既存の研究は、主にパープレキシティやダウンストリームタスクの精度といった一般的な指標のパフォーマンスに焦点を当てている。パラメトリックな知識を測定するような、よりきめ細かいメトリクスは、いまだにかなり過小評価されている。
論文参考訳（メタデータ） (2023-12-01T22:27:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。