論文の概要: Fewer Expert Transfers Without Changing Routing: Expert Eviction for MoE Offloading
- arxiv url: http://arxiv.org/abs/2611.15842v1
- Date: Wed, 11 Nov 2026 18:54:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.25485
- Title: Fewer Expert Transfers Without Changing Routing: Expert Eviction for MoE Offloading
- Title(参考訳): ルール変更なしのエキスパート移行の低さ-専門家によるMoEオフローディングの判断
- Abstract要約: 混合専門家(MoE)言語モデルはトークンあたりのエキスパート数人しか使用しないため、サーバはCPUメモリのほとんどの専門家の重みを保ち、ルータが要求した時に専門家をGPUにコピーすることができる。
最近の方法では、ルータに複数のトークンに対して同じ専門家を保持するように訓練し、より少ないコピーのプロキシとしてルーティングスイッチを扱います。
我々は、OLMoE-1B-7Bの実際のCPU間GPUコピーを動作させるハーネスにおいて、トレードオフを直接測定する。
- 参考スコア(独自算出の注目度): 12.198842490374673
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A mixture-of-experts (MoE) language model uses only a few experts per token, so a server can keep most expert weights in CPU memory and copy an expert to the GPU when the router requests it. Recent methods train the router to keep the same experts for several tokens, and treat fewer routing switches as a proxy for fewer copies. We measure the trade-off directly, in a harness that performs and times real CPU-to-GPU copies for OLMoE-1B-7B. On an L40S GPU, every tested policy that holds an expert set fixed and decodes faster than the least-recently-used (LRU) cache increases next-token loss by at least 0.067 nats. A change that leaves every routing decision intact does better: when the cache must evict an expert, evict the one whose next use lies farthest in the future. This rule copies 2.1x fewer experts than LRU at no loss in quality and is within 3.5% of the fewest copies possible. It needs future requests; the next sixteen tokens of demand recover 96% of its reduction, whereas a rule based on counts of past requests recovers 27%.
- Abstract(参考訳): 混合専門家(MoE)言語モデルはトークンあたりのエキスパート数人しか使用しないため、サーバはCPUメモリのほとんどの専門家の重みを保ち、ルータが要求した時に専門家をGPUにコピーすることができる。
最近の方法では、ルータに複数のトークンに対して同じ専門家を保持するように訓練し、より少ないコピーのプロキシとしてルーティングスイッチを扱います。
我々は、OLMoE-1B-7Bの実際のCPU-GPUコピーを動作させるハーネスにおいて、トレードオフを直接測定する。
L40S GPUでは、専門家セットを固定し、LRUキャッシュよりも高速にデコードするテスト済みのポリシーは、少なくとも0.067ナットで次のトーケン損失を増大させる。
すべてのルーティング決定をそのままにしておく変更は、より良くなる: キャッシュが専門家を排除しなければならない場合、次の使用法は将来的に最も遠くにある。
このルールは、LRUより2.1倍少ない専門家を品質を損なわずにコピーし、可能な限り最少のコピーの3.5%以内である。
今後の要求が必要であり、次の16の要求トークンは、削減の96%を回復する一方、過去の要求数に基づくルールは27%を回復する。
関連論文リスト
- What We Keep of What We Forget: Replacement Operators and Routing Semantics in Training-Free MoE Expert Pruning [0.928632277726947]
トレーニングなしのエキスパートプルーニングは、どの専門家を排除すべきか、どのレイヤが計算するかという2つの決定をします。
我々は、OLMoE、DeepSeek-V2-Lite、Moonlightの3つのファミリーの代替事業者を、Graniteを4番目のルータとして比較した。
ここでは,0 のランクが MoNE の定数であるプルーンドエキスパートの入力の閉形式の低ランク写像である傾き初心者を紹介する。
論文 参考訳(メタデータ) (2026-10-30T07:31:53Z) - BASE: Batch-Aware Selection of Experts Using Predicted Removal Error for Efficient MoE Decoding [13.806111695734716]
大規模言語モデルはますます高価になる。
大規模サービスシステムでは、モデル重みの転送によって自己回帰復号化がボトルネックとなることが多い。
入力トークン毎のエキスパート除去コストを推定する軽量線形予測器を開発した。
論文 参考訳(メタデータ) (2026-09-28T20:20:13Z) - MaskCoFT: Masked Co-Adaptive Fine-Tuning for Memory-Efficient MoE Inference [17.718564947470906]
MaskCoFTは、クロスエントロピー損失だけでルーターとエキスパートを訓練する。
トークン単位のエキスパートフェッチを23.7%、ベースモデルに対して10.1%削減する。
9つのベンチマークの平均精度は、ベースモデルよりも0.92と0.53ポイント高い。
論文 参考訳(メタデータ) (2026-09-28T01:12:30Z) - ReMoE: Boosting Expert Reuse through Router Fine-Tuning in Memory-Constrained MoE LLM Inference [8.678113280424876]
きめ細かいMixture-of-Experts(MoE)モデルはトークンごとに専門家のサブセットだけを活性化する。
メモリ制約のある推論シナリオでは、少数の専門家しかキャッシュできない。
トークンワイド専門家の再利用を促進するために設計されたルータファインチューニングフレームワークであるReMoEを提案する。
論文 参考訳(メタデータ) (2026-05-26T14:32:56Z) - MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference [75.41426145782751]
本稿では,DSAインデクサのリプレースとして,インデクサヘッドをエキスパートの混合プールとして扱うDSAインデクサを提案する。
MISAはロングベンチの密度の高いDSAインデクサとDeepSeek-V3.2とGLM-5で一致し、それぞれ8倍と4倍のインデクサヘッドで動作している。
私たちのTileLangカーネルは、単一のNVIDIA H200 GPU上で、DSAのオリジナルのインデクサカーネルの約3.82倍のスピードアップを実現しています。
論文 参考訳(メタデータ) (2026-05-08T07:19:34Z) - Speculating Experts Accelerates Inference for Mixture-of-Experts [44.31811859704714]
Mixture-of-Experts (MoE)モデルは、大規模言語モデル(LLM)のキャパシティを拡大する手段として人気を集めている。
本稿では、現在計算されている内部モデル表現を活用して、将来の専門家を推測するエキスパートプレフェッチ方式を提案する。
提案手法は,CPUメモリからのエキスパートのオンデマンドロードよりも,出力トークン当たりの最大14%の時間短縮を実現する。
論文 参考訳(メタデータ) (2026-03-09T06:59:47Z) - From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。
条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。
本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
論文 参考訳(メタデータ) (2025-09-29T16:29:17Z) - Chain-of-Experts: Unlocking the Communication Power of Mixture-of-Experts Models [58.54288496296157]
CoE(Chain-of-Experts)は新しいMixture-of-Experts(MoE)アーキテクチャで、各レイヤ内でのシーケンシャルな専門家通信を導入している。
イテレーション間の動的専門家選択をサポートするために、CoEはレイヤ内の各ステップに専用のルータを使用している。
論文 参考訳(メタデータ) (2025-06-23T02:15:43Z) - Turn Waste into Worth: Rectifying Top-$k$ Router of MoE [111.12838294273033]
MoEモデルは、その計算効率のために、大きな言語モデルのトレーニングに人気がある。
一般的に使用される上位$のルーティングメカニズムは、アンバランスなルーティングのために冗長性とメモリコストに悩まされる。
ドロップトークンとパディングに対処するため,GPU内整流とFill-in整流を含む整流化を提案する。
これらの組み合わせは、バニラトップ1ルータの精度を4.7%上回る優れた性能を達成する。
論文 参考訳(メタデータ) (2024-02-17T06:23:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。