論文の概要: AIMER: Calibration-Free Task-Agnostic MoE Pruning

• arxiv url: http://arxiv.org/abs/2603.18492v1
• Date: Thu, 19 Mar 2026 04:54:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.961776
• Title: AIMER: Calibration-Free Task-Agnostic MoE Pruning
• Title（参考訳）: AIMER: Calibration-free Task-Agnostic MoE Pruning
• Abstract要約: 簡単なキャリブレーションフリーの基準であるAIMERを導入する。 7Bから30B MoE言語モデル全体の25%と50%のプルーニング比率を16ベンチマークで比較すると、AIMERは一貫して、競争力のある、あるいはより強い全体的なパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 12.732331870876182
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) language models increase parameter capacity without proportional per-token compute, but the deployment still requires storing all experts, making expert pruning important for reducing memory and serving overhead. Existing task-agnostic expert pruning methods are typically calibration-dependent: they estimate expert importance from routing or activation statistics on a calibration set, which makes pruning outcomes sensitive to the choice of calibration set and adds substantial preprocessing cost. We introduce AIMER (\textbf{A}bsolute mean over root mean square \textbf{IM}portance for \textbf{E}xpert \textbf{R}anking), a simple calibration-free criterion that yields clear within-layer score separation and distinct expert stratification. Across 7B to 30B MoE language models at 25\% and 50\% pruning ratios over 16 benchmarks, AIMER consistently delivers competitive or stronger overall performance against state-of-the-art calibration-based expert pruning baselines with only 0.22--1.27 seconds for scoring the experts.
• Abstract（参考訳）: Mixture-of-Experts(MoE)言語モデルは、トーケン毎の比例計算なしでパラメータキャパシティを向上するが、それでもデプロイにはすべての専門家を保存する必要がある。 既存のタスクに依存しないプルーニング手法は、キャリブレーションセット上のルーティングやアクティベーション統計から専門家の重要度を推定し、キャリブレーションセットの選択に敏感なプルーニング結果をもたらし、かなりの前処理コストを増大させる。 AIMER (\textbf{A}bsolute mean over root mean \textbf{IM}portance for \textbf{E}xpert \textbf{R}anking), a simple calibration-free criterion that yields clear-layer score separation and distinct expert stratification。 7Bから30BのMoE言語モデルで16ベンチマークで25\%、50\%のプルーニング比率で、AIMERは一貫して、最先端のキャリブレーションベースのエキスパートプルーニングベースラインに対して、専門家の評価に0.22--1.27秒しかかからない、競争力あるいはより強い全体的なパフォーマンスを提供している。

関連論文リスト

• When Load-Balancing Goes Too Far: Expert Pruning in Over-Dispersed Mixture-of-Experts Models [14.959514582161956]
  エキスパートプルーニングは、Mixture-of-Experts(MoE)モデルのメモリとサービスコストを削減します。 この仮定は、トークンがほぼ一様に専門家に分散される過分散ルーティングの下で分解されるのを観察する。 筆者らは,現在最も影響の低いドメインに対して,重要度を反復的に向上させるドメイン認識手法であるMinimax Expert Score Allocation (MESA)を提案する。
  論文  参考訳（メタデータ） (2026-09-03T20:21:20Z)
• Target-Aware Calibration Data Selection for Preserving Uncertainty in Quantized Language Models [21.86864148430797]
  量子化は大規模言語モデルの展開に広く用いられているが、不確実性に対する影響は主要な目的として扱われることは滅多にない。 ターゲット依存不確実性保存問題として量子化のためのキャリブレーションデータ選択を行う。 完全精度予測を用いた軽量な事前量子化レシピファミリーであるDoub-Preserving Quantization (DPQ)を紹介する。
  論文  参考訳（メタデータ） (2026-08-21T12:07:49Z)
• Rethinking Post-Hoc Calibration in Semantic Segmentation [2.8002121919083685]
  ポストホックキャリブレーションは、セグメンテーションモデルを再訓練することなく、信頼度推定を補正する実用的な方法を提供する。 まず、全てのロジットに定数を加えるとソフトマックス確率は変わらないが、いくつかの標準校正器はこの任意のオフセットに依存することができる。 第二に、ポストホックキャリブレーションは通常、可能性に基づく目的を最小化することで適合するが、セグメンテーションモデルはDiceのようなタスク固有のメトリクスで訓練される。
  論文  参考訳（メタデータ） (2026-07-02T09:01:21Z)
• Generic Expert Coverage for Pruning SparseMixture-of-Experts Language Models [16.871402640095745]
  キャリブレーションにジェネリックテキストコーパスのみを用いるカバレッジ・アウェア・エキスパート・プルーニング手法を提案する。 我々の改善は、固定された刈り込み予算と下流キャリブレーションデータに支えられている。
  論文  参考訳（メタデータ） (2026-07-02T05:02:18Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• AlphaQ: Calibration-Free Bit Allocation for Mixture-of-Experts Quantization [104.10572215799239]
  混合精度量子化は、異なるビット幅を異なる専門家に割り当てることで、フットプリントを大幅に削減することができる。 既存のアプローチは、専門家の重要度を推定し、ビット割り当てを決定するためにキャリブレーションデータに依存している。 我々は,MoE量子化のためのキャリブレーションフリーなビット割り当て手法であるAlphaQを提案する。
  論文  参考訳（メタデータ） (2026-06-03T15:03:18Z)
• Slicing and Dicing: Configuring Optimal Mixtures of Experts [49.5613403644084]
  本研究は,最大6.6Bのパラメータにまたがる2000以上の事前学習走行に関する最初の系統的研究である。 私たちは、全体専門家、専門家の次元、単一層内の異種の専門家サイズ、共有専門家サイズ、ロードバランシングメカニズムを徹底的に変化させています。 専門家の数え方と粒度に焦点を合わせ、その他の選択肢は最終品質に最小限の影響を与える。
  論文  参考訳（メタデータ） (2026-05-12T07:47:22Z)
• A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
  SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。 SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。 推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
  論文  参考訳（メタデータ） (2026-02-23T15:11:16Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• Scalable Utility-Aware Multiclass Calibration [53.28176049547449]
  ユーティリティキャリブレーション(英: Utility calibration)は、特定のユーティリティ関数に対するキャリブレーション誤差を測定する一般的なフレームワークである。 我々は、このフレームワークが既存のキャリブレーションメトリクスを統一し、再解釈する方法を実証する。
  論文  参考訳（メタデータ） (2025-10-29T12:32:14Z)
• REAP the Experts: Why Pruning Prevails for One-Shot MoE compression [5.517309667435783]
  専門家の刈り取りは、生成タスクにおいて優れた戦略であることを示す。 ルータ重み付きエキスパートアクティベーション・プルーニング(REAP)を提案する。 提案手法は,Qwen3-Coder-480B と Kimi-K2 を用いて,コード生成およびツール呼び出しタスクの無作為な圧縮を実現する。
  論文  参考訳（メタデータ） (2025-10-15T18:29:28Z)
• MoNE: Replacing Redundant Experts with Lightweight Novices for Structured Pruning of MoE [12.498106165046233]
  Mixture-of-Experts (MoE)は、入力トークンごとに専門家のサブセットだけを活性化することにより、大規模言語モデルの効率的なスケーリングを可能にする。 MoNEは冗長な専門家を軽量な初心者に置き換え、効果的で堅牢なモデル圧縮を実現する。
  論文  参考訳（メタデータ） (2025-07-01T03:02:59Z)
• Adaptive Set-Mass Calibration with Conformal Prediction [60.47079469141295]
  提案手法は,まず共形予測から始まり,所望のカバレッジを与えるラベルの集合を得る。 次に、共形制約に合わせて、質量正規化と温度スケーリングに基づくルールの2つの簡単なポストホックキャリブレータをインスタンス化する。
  論文  参考訳（メタデータ） (2025-05-21T12:18:15Z)
• Unified Sparse Mixture of Experts [14.774596844618396]
  SMOE(Sparse Mixture of Experts)モデルは、一定の計算オーバーヘッドを維持しながら、モデルのキャパシティをスケールする。 本稿では,これらの制約に対処する統一スパース・ミックス・オブ・エキスパート(USMoE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-29T07:15:12Z)
• How to Prune Your Language Model: Recovering Accuracy on the "Sparsity May Cry'' Benchmark [60.72725673114168]
  下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。 そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:11:30Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。