Fugu-MT 論文翻訳(概要): ExFold: Unified Expert Folding for Training-Free MoE Prefill-Decode Acceleration

論文の概要: ExFold: Unified Expert Folding for Training-Free MoE Prefill-Decode Acceleration

arxiv url: http://arxiv.org/abs/2608.24938v1
Date: Mon, 24 Aug 2026 08:53:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-27 14:15:15.284911
Title: ExFold: Unified Expert Folding for Training-Free MoE Prefill-Decode Acceleration
Title（参考訳）: ExFold: トレーニング不要のMoEプリフィル-デコードアクセラレーションのための統一されたエキスパートフォールディング
Abstract要約: Mixture-of-Experts (MoE)モデルは、専門家のアクティベーションを通じて、トーケン毎の計算を維持しながら、強力な品質のためにキャパシティをスケールする。我々は,MoEプリフィルデコードとバッチレベルのエキスパートプールフォールディングを共同で高速化するExFoldを提案する。
参考スコア（独自算出の注目度）: 28.21219412744595
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Mixture-of-Experts (MoE) models scale capacity for strong quality while keeping per-token compute bounded through sparse expert activation. Yet low-latency MoE serving is increasingly challenging, because it spans two inference phases with fundamentally different bottlenecks: prefill is dominated by token-wise expert computation, whereas decode is constrained by memory traffic from the batch-wise activated expert set. However, existing training-free acceleration methods optimize only a single resource proxy, either the experts each token executes or the experts a batch activates, and either discard the excluded experts' contribution or leave it only implicitly approximated. In this paper, we propose ExFold, a unified training-free expert-folding framework for jointly accelerating MoE prefill and decode. ExFold casts both prefill and decode as one budgeted output-approximation problem: execute only a phase-specific constrained expert set while projecting the contribution of budget-excluded experts onto retained experts using calibrated scalar projectors. Motivated by the observation that many expert outputs are directionally aligned but differ in magnitude, ExFold calibrates a pairwise scalar-projector matrix on unlabeled data and uses it at inference time to fold excluded expert contributions into retained experts. Under this view, prefill acceleration becomes token-level Top-K folding, and decode acceleration becomes batch-level expert-pool folding. The two phases differ only in how retained experts are selected, while excluded contributions are recovered by one shared folding mechanism. We implement ExFold as a plug-and-play plugin in vLLM, with a lightweight expert-folding CUDA kernel, delivering up to 1.41x TTFT and 2.45x TPOT speedups while retaining about 99% of the original average quality.
Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、疎い専門家のアクティベーションを通じて、トーケン毎の計算をバウンドし続けながら、強力な品質のためにキャパシティをスケールする。プリフィルはトークン単位のエキスパート計算によって支配されるのに対して、デコードはバッチ単位のアクティベートされたエキスパートセットからのメモリトラフィックによって制約される。しかしながら、既存のトレーニング不要のアクセラレーションメソッドは、単一のリソースプロキシのみを最適化し、各トークンの実行する専門家か、バッチが起動する専門家か、除外された専門家のコントリビューションを破棄するか、暗黙的にのみ近似する。本稿では,MoEプリフィルとデコードを共同で高速化する,一貫したトレーニングフリー専門家折り畳みフレームワークであるExFoldを提案する。 ExFoldは、プリフィルとデコードの両方を、1つの予算付き出力近似問題として挙げている: 予算付き専門家の貢献をキャリブレーションされたスカラープロジェクタを使用して保持された専門家に投影しながら、フェーズ固有の制約付き専門家セットのみを実行する。 ExFoldは、多くの専門家の出力が方向に沿っているが大きさが違うという観察に触発され、ラベルのないデータに対してペアワイズ・スカラー・プロジェクタ行列を校正し、推測時にそれを使って専門家のコントリビューションを残留専門家に折り畳む。この観点では、プリフィルアクセラレーションはトークンレベルのTop-Kフォールディングとなり、デコードアクセラレーションはバッチレベルのエキスパートプールフォールディングとなる。 2つのフェーズは、保持された専門家の選択方法にのみ異なるが、除外されたコントリビューションは1つの共有折りたたみ機構によって回収される。我々は、vLLMのプラグインとしてExFoldを実装し、軽量な専門家折り畳みCUDAカーネルで、1.41倍のTTFTと2.45倍のTPOTスピードアップを実現し、元の平均品質の99%を維持した。

関連論文リスト

APEX: Adaptive Expert Prefetching for Memory-Efficient Edge MoE Inference [0.0]
Mixture-of-Experts(MoE)モデルは、トークン当たりのパラメータの小さなサブセットのみをアクティベートしながら、高いモデルキャパシティを提供するため、エッジデプロイメントにとって魅力的なものだ。本稿では,APEX:Adaptive Expert Prefetchingについて述べる。
論文参考訳（メタデータ） (2026-08-12T05:57:09Z)
Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
論文参考訳（メタデータ） (2026-08-11T02:40:58Z)
Less Experts, Faster Decoding: Cost-Aware Speculative Decoding for Mixture-of-Experts [34.20364644493512]
本稿では,予測限界エキスパートアクティベーションコストをドラフト選択に組み込む,コストアウェアな投機的復号化フレームワークを提案する。我々は、DeepSeek-V3.1 (671B)、Qwen3-235B-A22B、GPT-OSS-120Bを含む3つの大規模MoEモデル上でtextscEcoSpecを評価する。
論文参考訳（メタデータ） (2026-07-14T12:22:55Z)
SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning [83.66308307152808]
マルチモーダル・インストラクション・チューニング(MCIT)のためのStAbilized Mixture-of-Experts(SAME)を提案する。プロプライエタリは、サブスペースへのルーティングダイナミクスを分解し、タスク関連方向のみを更新することで、専門家の選択を安定化する。また、トレーニング中に選択した専門家を凍結するためにアダプティブな専門家アクティベーションを導入し、冗長でクロスタスクな干渉を減らす。
論文参考訳（メタデータ） (2026-02-02T11:47:06Z)
$\infty$-MoE: Generalizing Mixture of Experts to Infinite Experts [43.075289015406355]
Mixture of Experts (MoE)はトークンごとにいくつかのフィードフォワードネットワーク(FFN)を選択し、計算コストとパフォーマンスの効果的なトレードオフを実現する。トークン毎にサンプリングされた連続値に基づいて,大きなFFNのパラメータの一部を選択可能な$infty$-MoEを提案する。 GPT-2 Small-based $infty$-MoE model, with 19M active and 186M total parameters, is a comparable performance to a dense GPT-2 Medium with 350M parameters。
論文参考訳（メタデータ） (2026-01-25T03:55:51Z)
Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。 SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
論文参考訳（メタデータ） (2025-11-07T22:19:34Z)
Sub-MoE: Efficient Mixture-of-Expert LLMs Compression via Subspace Expert Merging [17.490596264046435]
Sub-MoE は Subspace Expert Merging による新しい MoE 圧縮フレームワークである。我々の重要な洞察は、専門家の重み付けでSingular Value Decomposition(SVD)を共同で行うことです。当社のSub-MoEは、既存のエキスパートプルーニングやマージ方法よりも大幅に優れています。
論文参考訳（メタデータ） (2025-06-29T14:43:50Z)
Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
本研究では,大規模MoEモデルにおける領域の特殊化と専門的冗長性について検討する。本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。 DeepSeek-R1とDeepSeek-V3-0324の実験は、我々の手法が同じメモリ予算の下で同等の性能と2.99タイムのスループットを達成できることを示した。
論文参考訳（メタデータ） (2025-04-09T11:34:06Z)
HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
論文参考訳（メタデータ） (2024-11-03T04:25:46Z)
MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts [63.67734699877724]
MoE++は、Feed-Forward Network(FFN)とゼロ計算の専門家を統合した、汎用的で異種なMoEフレームワークである。 MoE++は、1.1-2.1xのエキスパートの前方スループットを同じサイズのバニラのMoEモデルと比較すると、パフォーマンスが向上する。
論文参考訳（メタデータ） (2024-10-09T18:01:27Z)
Beyond Parameter Count: Implicit Bias in Soft Mixture of Experts [44.09546603624385]
ソフトモエの専門専門化について紹介する。小さな専門家がたくさんいる場合、アーキテクチャは暗黙的に偏りがあり、専門的な専門家のサブセットを効率的に近似できることを示している。
論文参考訳（メタデータ） (2024-09-02T00:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。