論文の概要: Colla-Q: Toward Collaborative Experts in MoE Quantization via Minimax Precision Balancing

• arxiv url: http://arxiv.org/abs/2609.18131v1
• Date: Wed, 16 Sep 2026 05:09:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.650631
• Title: Colla-Q: Toward Collaborative Experts in MoE Quantization via Minimax Precision Balancing
• Title（参考訳）: Colla-Q:ミニマックス精度バランシングによるMoE量子化における共同専門家を目指して
• Abstract要約: 本稿では,活性化エントロピーに基づくMixture-of-Experts(MoE)量子化手法を提案する。 量子化はメモリと計算コストを減らすが、性能は著しく低下する。 我々は,アクティベーションエントロピーに基づくビット幅割り当てアルゴリズムを用いて,専門家間のバランスの取れた性能を維持するためのColla-Qを提案する。
• 参考スコア（独自算出の注目度）: 6.073192384885002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a Mixture-of-Experts (MoE) quantization method based on activation entropy. Although quantization reduces memory and computational costs, it can substantially degrade performance. In particular, performance decline is pronounced in quantized MoE models, where individual experts have a small number of parameters that are sensitive to low-bit representation. Considering that MoE operates as an ensemble model with collaborative contributions from routed experts, a significant performance decline of a particular expert due to quantization can harm model performance. Therefore, we propose Colla-Q, a bit-allocation framework to maintain balanced performance across experts through an activation-entropy-based bit-width allocation algorithm. This approach encourages each expert to operate collaboratively in the quantized model, thereby 1) improving the overall MoE performance and 2) reducing the dependence on the calibration dataset. Since uniformly adjusting each expert's performance facilitates robustness and stability of the MoE model, the proposed MoE quantization method can generalize more consistently across different calibration datasets. Our code is available at: https://github.com/mmai-laboratory/Colla_Q
• Abstract（参考訳）: 本稿では,活性化エントロピーに基づくMixture-of-Experts(MoE)量子化法を提案する。 量子化はメモリと計算コストを減らすが、性能は著しく低下する。 特に、性能低下は量子化されたMoEモデルで顕著であり、個々の専門家は低ビット表現に敏感な少数のパラメータを持つ。 MoEは、ルーティングされた専門家の協力によるコントリビューションを伴うアンサンブルモデルとして運用されているため、量子化による特定の専門家のパフォーマンス低下がモデルのパフォーマンスに悪影響を及ぼす可能性がある。 そこで我々は,アクティベーションエントロピーに基づくビット幅割当アルゴリズムを用いて,専門家間のバランスの取れた性能を維持するためのビット割り当てフレームワークColla-Qを提案する。 このアプローチは、各専門家に量子化されたモデルで協調的に操作するように促す。 1)全体的なMoE性能と改善 2)キャリブレーションデータセットへの依存を減らす。 各専門家のパフォーマンスを均一に調整することで、MoEモデルの堅牢性と安定性が向上するので、提案したMoE量子化法は、異なるキャリブレーションデータセット間でより一貫した一般化が可能となる。 私たちのコードは、https://github.com/mmai-laboratory/Colla_Qで利用可能です。

関連論文リスト

• Value-and-Structure Alignment for Routing-Consistent Quantization of Mixture-of-Experts Models [6.871645384293096]
  Mixture-of-Experts (MoE)モデルは、トークンごとに専門家のサブセットだけを活性化することで、ファンデーションモデルを効率的にスケールする。 MoEモデルはルーティングの不安定性に敏感で、小さな量子化によって引き起こされる摂動は、トップ$kのエキスパート選択を変えることができる。 我々は、量子化の下でのエキスパート選択行動を維持するために、量子化のための値と構造のルーティングアライメント(VSRAQ)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T04:13:05Z)
• Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization [60.309915093470416]
  Matryoshka MoE(M-MoE)は、エキスパートアンサンブルに直接粗い構造を注入するトレーニングフレームワークである。 私たちの作業は、大規模MOEモデルのより実用的で適応可能なデプロイメントの道を開くものです。
  論文  参考訳（メタデータ） (2025-09-30T16:56:44Z)
• MoQE: Improve Quantization Model performance via Mixture of Quantization Experts [5.990018519616728]
  Mixture of Quantization Experts(略称:MoQE)は、Mixture-of-Expertsアーキテクチャに基づく量子化推論フレームワークである。 MoQEは1つの完全精度モデルの複数の量子化変種を「量子化の専門家」として結合する 我々は,MQEがSOTA量子化モデルに匹敵する性能を達成できることを示す。
  論文  参考訳（メタデータ） (2025-08-09T05:58:29Z)
• MoEQuant: Enhancing Quantization for Mixture-of-Experts Large Language Models via Expert-Balanced Sampling and Affinity Guidance [10.817003682434425]
  Mixture-of-Experts (MoE) Large Language Model (LLM) は動的ルーティングとスパースアクティベーションを利用して効率とスケーラビリティを向上させる。 後トレーニング量子化(PTQ)は、MoEモデルに適用した場合、精度が著しく低下し、性能が低下する。 本稿では,MoEのスパースと動的特性が量子化に与える影響について検討する。
  論文  参考訳（メタデータ） (2025-05-02T08:51:55Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• QuantMoE-Bench: Examining Post-Training Quantization for Mixture-of-Experts [47.01697456105496]
  Mixture-of-Experts (MoE)は、大規模言語モデルの学習能力をスケールアップする有望な方法である。 MoEは大きなパラメータサイズのためにメモリオーバーヘッドに悩まされる。 トレーニング後の量子化は、モデル圧縮に強力なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-12T12:44:48Z)
• Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
  Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。 本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。 我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
  論文  参考訳（メタデータ） (2024-05-23T12:45:29Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。