論文の概要: DPA-MoE: A Runtime Precision Control Framework for MoE Inference
- arxiv url: http://arxiv.org/abs/2610.21378v1
- Date: Thu, 15 Oct 2026 06:58:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.241499
- Title: DPA-MoE: A Runtime Precision Control Framework for MoE Inference
- Title（参考訳）: DPA-MoE: MoE推論のための実行時精度制御フレームワーク
- Abstract要約: Mixture-of-Experts (MoE)モデルは、トークンを少数の専門家にルーティングすることで計算を減少させるが、選択した専門家は依然として一定の精度で使用される。
DPA-MoE(DPA-MoE)は、ルーティングされた専門家を高精度にするための実行時精度制御フレームワークである。
- 参考スコア（独自算出の注目度）: 3.656312560576446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mixture-of-Experts (MoE) models reduce computation by routing each token to a small set of experts, but each selected expert is still used at a fixed precision. We present DPA-MoE, a runtime precision control framework that makes routed experts any-precision. DPA-MoE encodes expert feed-forward weights as prefix-decodable chunks using SharedScale AnyBCQ, profiles per-expert reconstruction residuals offline, and allocates chunks at inference time using live router gate scores. This post-routing allocation lets a single encoded MoE checkpoint operate at multiple effective weight budgets without retraining or re-encoding. Experiments on Qwen3-30B-A3B and DeepSeekMoE-16B show that DPA-MoE improves KL divergence and downstream accuracy over uniform chunk allocation at matched budgets, with modest steady-state throughput overhead in our prototype.
- Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、トークンを少数の専門家にルーティングすることで計算を減少させるが、選択した専門家は依然として一定の精度で使用される。
DPA-MoE(DPA-MoE)は、ルーティングされた専門家を高精度にするための実行時精度制御フレームワークである。
DPA-MoEは、SharedScale AnyBCQを使ってフィードフォワードの重みをプレフィックスデコタブルなチャンクとしてエンコードし、専門家毎の復元残差のプロファイルをオフラインにし、ライブルータゲートスコアを使用して推論時にチャンクを割り当てる。
このルーティング後のアロケーションにより、単一エンコードされたMoEチェックポイントは、再トレーニングや再エンコードなしに、複数の効果的な重み付け予算で動作することができる。
Qwen3-30B-A3BとDeepSeekMoE-16Bの実験により、DPA-MoEは、一致した予算での均一なチャンク割り当てよりもKLのばらつきと下流の精度を向上し、プロトタイプではわずかに定常的なスループットのオーバーヘッドが生じることが示された。
関連論文リスト
- SlimWise: Decoupling Expert Pruning Across Prefill and Decode for Efficient MoE Serving [4.2257896511278075]
SlimWiseは、専門家プールを各推論フェーズに調整するサービスフレームワークです。
SlimWiseはフルモデルでプリフィルを実行し、プリフィル生成したKVキャッシュを直接変換せずに再利用するプルーンドモデルでデコードする。
Qwen3.6-35B-A3Bでは、SlimWiseはデコードスループットを50%のエキスパートプルーニングで最大1.81倍改善し、最小限の精度を損なう。
論文 参考訳（メタデータ） (2026-09-28T01:57:51Z) - Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。
我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。
トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
論文 参考訳（メタデータ） (2026-08-11T02:40:58Z) - Elbow-Based MoE Routing: A Training-Free Inference Time Plugin for Expert Selection [0.0]
Mixture-of-Experts (MoE)モデルは、低推論時間計算を維持しながらモデルスケーリングを可能にする。
我々は,訓練不要な推論時間修正である肘ベースのルーティングを導入し,一人あたりのエキスパート数を動的に調整する。
最先端のMoEモデルの実験では、6つのベンチマークで精度を維持しながら平均遅延時間を5.3%削減した。
論文 参考訳（メタデータ） (2026-08-05T03:10:17Z) - TriRoute: Unified Learned Routing for Joint Adaptive Attention, Experts, and KV-Cache Allocation [0.0]
TriRouteは3つの軸で共有される単一の軽量コントローラである。
不均一な緩和により終端から終端までを運転する。
フルアテンションと高精度キャッシュを文初期位置、まれなサブワード、名前付きエンティティに割り当てる。
論文 参考訳（メタデータ） (2026-07-07T00:12:46Z) - ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression [4.740789393042061]
Mixture-of-Experts (MoE)言語モデルでは、トーケン毎の計算が削減されるが、それでもすべての専門家の保存とサービスを必要としている。
訓練後のMoE圧縮をエキスパートプール統合として定式化する。
電車のないプロトタイプリマッピングフレームワークであるConMoEを提案する。
論文 参考訳（メタデータ） (2026-05-28T04:44:22Z) - Adaptive Inverted-Index Routing for Granular Mixtures-of-Experts [49.09151538536423]
Mixture-of-experts (MoE)モデルはトークンごとに専門家のサブセットだけを活性化することでスケーラブルなトランスフォーマーアーキテクチャを実現する。
最近の証拠は、より粒度の細かい専門家、すなわち、少数の大きな専門家ではなく、多くの小さな専門家によって、パフォーマンスが向上することを示している。
ベクトル量子化(VQ)に基づく逆インデックス型ルーティングアーキテクチャである MoE (AIR-MoE) の適応型逆インデックスルーティングを導入する。
論文 参考訳（メタデータ） (2026-05-06T14:15:10Z) - Is Retraining-Free Enough? The Necessity of Router Calibration for Efficient MoE Compression [8.26446202479213]
Mixture-of-Experts (MoE)モデルは、効率よくキャパシティをスケールするが、その巨大なパラメータフットプリントは、デプロイメント時のメモリボトルネックを生み出す。
我々は、トレーニングなしのMoE圧縮を、Expert Pruning、Expert Editing、Expert Mergingの3つのパラダイムに分類する。
圧縮後の持続的な劣化は、主に無視された要因である: 専門家が変更されてもルータは触れられていないときのルータ-専門家ミスマッチである。
論文 参考訳（メタデータ） (2026-02-10T08:04:07Z) - Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。
極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。
本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
論文 参考訳（メタデータ） (2026-01-23T18:19:15Z) - From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。
条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。
本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
論文 参考訳（メタデータ） (2025-09-29T16:29:17Z) - ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。
ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
論文 参考訳（メタデータ） (2025-03-10T03:15:54Z) - Patch-level Routing in Mixture-of-Experts is Provably Sample-efficient
for Convolutional Neural Networks [74.68583356645276]
ディープラーニングでは、Mixix-of-experts(MoE)が、サンプル単位またはトーケン単位で専門家(サブネットワーク)を活性化する。
我々は,pMoEが適切な一般化を実現するために,必要なトレーニングサンプル数を確実に削減できることを初めて示す。
論文 参考訳（メタデータ） (2023-06-07T00:16:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。