論文の概要: Value-and-Structure Alignment for Routing-Consistent Quantization of Mixture-of-Experts Models
- arxiv url: http://arxiv.org/abs/2606.05688v1
- Date: Thu, 04 Jun 2026 04:13:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.550312
- Title: Value-and-Structure Alignment for Routing-Consistent Quantization of Mixture-of-Experts Models
- Title（参考訳）: 混合実験モデルのルーティング一貫性量子化のための値と構造アライメント
- Authors: Hancheol Park, Geonho Lee, Tairen Piao, Tae-Ho Kim,
- Abstract要約: Mixture-of-Experts (MoE)モデルは、トークンごとに専門家のサブセットだけを活性化することで、ファンデーションモデルを効率的にスケールする。
MoEモデルはルーティングの不安定性に敏感で、小さな量子化によって引き起こされる摂動は、トップ$kのエキスパート選択を変えることができる。
我々は、量子化の下でのエキスパート選択行動を維持するために、量子化のための値と構造のルーティングアライメント(VSRAQ)を提案する。
- 参考スコア（独自算出の注目度）: 6.871645384293096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixture-of-Experts (MoE) models scale foundation models efficiently by activating only a subset of experts for each token, but their large number of expert parameters still makes quantization essential for practical deployment. Unlike dense models, however, MoE models are sensitive to routing instability: small quantization-induced perturbations can change the top-$k$ expert selection, altering the computation path and degrading model quality. We propose Value-and-Structure Routing Alignment for Quantization (VSRAQ), a MoE-specific post-training quantization objective that preserves pre-quantization expert-selection behavior under quantization. VSRAQ combines two complementary objectives that jointly preserve expert-selection behavior: value alignment, which matches routing-relevant logits or scores, and structure alignment, which preserves expert ordering and top-$k$ decision boundaries. By maintaining routing consistency, VSRAQ reduces quantization-induced degradation without introducing any inference-time overhead and can be integrated into existing quantization frameworks. Experiments on recent MoE foundation models show that VSRAQ improves expert-selection consistency and consistently outperforms reconstruction-only and router-aware baselines.
- Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、トークンごとに専門家のサブセットだけを活性化することで、基礎モデルを効率的にスケールするが、その多数の専門家パラメータは、いまだに実用的な展開に量子化が不可欠である。
しかし、高密度モデルとは異なり、MoEモデルはルーティング不安定性に敏感である:小さな量子化によって引き起こされる摂動は、最高$kのエキスパート選択を変更し、計算パスを変更し、モデル品質を劣化させる。
量子化における事前量子化専門家選択の挙動を保存したMoE固有のポストトレーニング量子化目標である、量子化のための値と構造ルーティングアライメント(VSRAQ)を提案する。
VSRAQは、ルーティング関連ロジットやスコアにマッチする値アライメントと、専門家の順序付けと上位$kの意思決定境界を保持する構造アライメントという、専門家選択の動作を共同で保存する2つの補完的な目的を組み合わせている。
ルーティングの一貫性を維持することで、VSRAQは推論時のオーバーヘッドを導入することなく、量子化による劣化を低減し、既存の量子化フレームワークに統合できる。
最近のMoEファンデーションモデルの実験では、VSRAQは専門家選択の一貫性を改善し、リコンストラクションのみのベースラインとルータ対応ベースラインを一貫して上回っている。
関連論文リスト
- DAG-MoE: From Simple Mixture to Structural Aggregation in Mixture-of-Experts [56.175408382091796]
本研究では, 標準重み付け集約を構造集約に置き換えることにより, 専門家やルータを変更することなく, 専門家合成空間を拡大することを示す。
DAG-MoEは軽量モジュールを用いて,選択した専門家の最適な集約構造を自動的に学習するスパースMoEフレームワークである。
論文 参考訳（メタデータ） (2026-05-31T07:08:16Z) - GEMQ: Global Expert-Level Mixed-Precision Quantization for MoE LLMs [40.50894372538921]
混合精度量子化は、その重要性に基づいて、専門家のビット幅を割り当てることで、メモリオーバーヘッドを軽減する。
既存の手法は、量子化によって誘導されるレイヤワイドな重要度推定とオーバルックルータシフトに依存している。
我々はこれらの制限を克服するために,グローバルエキスパートレベル混合精度量子化(GEMQ)を提案する。
論文 参考訳（メタデータ） (2026-05-21T22:23:38Z) - Towards Adaptive Continual Model Merging via Manifold-Aware Expert Evolution [33.44708543696699]
MADE-ITは、多様体幾何学における本質的な専門家表現を基礎にして、専門家の管理と活性化をオーケストレーションする。
実験により、MADE-ITは、長い水平およびシャッフルされたタスクシーケンスの精度と堅牢性において、強いベースラインを一貫して上回ることを示した。
論文 参考訳（メタデータ） (2026-04-24T11:35:53Z) - A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs [64.8510381475827]
SMOE(Sparse Mixture-of-Experts)アーキテクチャは、大規模言語モデルを効率的にスケールするためにますます使われている。
SMoEモデルは専門家間で厳しい負荷不均衡に悩まされることが多く、専門家のごく一部がほとんどのトークンを受け取り、他のモデルは未利用である。
推定中のエキスパートルーティングの体系的解析を行い, (i) 負荷不均衡が持続し, バッチサイズが大きくなる, (ii) 選択頻度が, 専門家の重要度を確実に反映しない, (iii) 専門家の全体負荷と重要性を, キャリブレーションセットを用いて推定できる,という3つの知見を同定する。
論文 参考訳（メタデータ） (2026-02-23T15:11:16Z) - Mixture-of-Models: Unifying Heterogeneous Agents via N-Way Self-Evaluating Deliberation [0.0]
本稿では,N-Way Self-Evaluating Deliberation (NSED) プロトコル,Mixture-of-Models (MoM) アーキテクチャを提案する。
静的ゲーティングネットワークに依存する従来のMixture-of-Experts (MoE)とは異なり、NSEDはモデル選択をKnapsack問題のバリエーションとして扱うDynamic Expertise Brokerを使用している。
論文 参考訳（メタデータ） (2026-01-23T16:11:54Z) - Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。
単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。
LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
論文 参考訳（メタデータ） (2025-11-20T04:11:44Z) - An Integrated Fusion Framework for Ensemble Learning Leveraging Gradient Boosting and Fuzzy Rule-Based Models [59.13182819190547]
ファジィ規則に基づくモデルは解釈可能性に優れ、様々な分野に広く応用されている。
複雑な設計仕様や大規模データセットのスケーラビリティといった課題に直面している。
本稿では,モデル性能と解釈可能性を高めるために,両パラダイムの強みを融合した統合統合フレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-11T10:28:23Z) - Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation [49.98025799046136]
Merge-And-GuidEは、ガイド付きデコーディングにモデルマージを利用する2段階のフレームワークである。
ステージ1では、MAGEはガイダンスとベースモデルの互換性の問題を解決する。
ステージ2では、明示的で暗黙的な値モデルを統一的なガイダンスプロキシにマージします。
論文 参考訳（メタデータ） (2025-10-04T11:10:07Z) - MoQE: Improve Quantization Model performance via Mixture of Quantization Experts [5.990018519616728]
Mixture of Quantization Experts(略称:MoQE)は、Mixture-of-Expertsアーキテクチャに基づく量子化推論フレームワークである。
MoQEは1つの完全精度モデルの複数の量子化変種を「量子化の専門家」として結合する
我々は,MQEがSOTA量子化モデルに匹敵する性能を達成できることを示す。
論文 参考訳（メタデータ） (2025-08-09T05:58:29Z) - Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。
本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。
適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T22:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。