Fugu-MT 論文翻訳(概要): ReMoE: Boosting Expert Reuse through Router Fine-Tuning in Memory-Constrained MoE LLM Inference

論文の概要: ReMoE: Boosting Expert Reuse through Router Fine-Tuning in Memory-Constrained MoE LLM Inference

arxiv url: http://arxiv.org/abs/2605.27081v1
Date: Tue, 26 May 2026 14:32:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-27 17:51:42.226192
Title: ReMoE: Boosting Expert Reuse through Router Fine-Tuning in Memory-Constrained MoE LLM Inference
Title（参考訳）: ReMoE:メモリ制約MOE LLM推論におけるルータファインチューニングによるエキスパートリユース向上
Authors: Xiongwei Zhu, Xiaojian Liao, Tianyang Jiang, Yusen Zhang, Liang Wang, Limin Xiao,
Abstract要約: きめ細かいMixture-of-Experts(MoE)モデルはトークンごとに専門家のサブセットだけを活性化する。メモリ制約のある推論シナリオでは、少数の専門家しかキャッシュできない。トークンワイド専門家の再利用を促進するために設計されたルータファインチューニングフレームワークであるReMoEを提案する。
参考スコア（独自算出の注目度）: 8.678113280424876
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Fine-grained Mixture-of-Experts (MoE) models sparsely activate only a subset of experts per token, reducing activated computation while maintaining high model capacity. However, in memory-constrained inference scenarios, only a small set of experts can be cached. Experts not in the cache must be fetched from slow external storage (e.g., UFS), leading to frequent evictions and substantial I/O overhead. We propose ReMoE, a router fine-tuning framework designed to boost token-wise expert reuse. ReMoE biases the router toward recently selected experts, producing temporally stable routing that better matches cache locality constraints. By increasing short-horizon expert reuse, ReMoE reduces expert fetches from storage without adding inference-time computation. Experiments on DeepSeek and Qwen models show that ReMoE improves expert reuse by 26% while maintaining downstream task performance. Real-system evaluations further confirm these benefits, improving output throughput by 8.4% under vLLM GPU-CPU expert offloading and reducing TPOT by 43.6-49.8% under llama.cpp on Jetson Orin NX, corresponding to a 1.77-1.99$\times$ decode speedup across diverse workloads. Checkpoints and usage instructions are available at https://github.com/BUAA-OSCAR/ReMoE.
Abstract（参考訳）: きめ細かいMixture-of-Experts(MoE)モデルはトークン当たりのエキスパートのサブセットのみをわずかに活性化し、高いモデルのキャパシティを維持しながら、活性化された計算を減らす。しかし、メモリ制約のある推論シナリオでは、少数の専門家しかキャッシュできない。キャッシュにないエキスパートは、遅い外部ストレージ(UFSなど)からフェッチされなければならない。トークンワイド専門家の再利用を促進するために設計されたルータファインチューニングフレームワークであるReMoEを提案する。 ReMoEはルータを最近選択した専門家に偏り、キャッシュのローカリティ制約に合った時間的に安定したルーティングを生成する。短時間のエキスパート再利用を増やすことで、ReMoEは推論時間計算を追加することなく、ストレージからのエキスパートフェッチを減らすことができる。 DeepSeekとQwenの実験によると、ReMoEはダウンストリームタスクのパフォーマンスを維持しながら、専門家の再利用を26%改善している。実システム評価はこれらの利点をさらに確認し、vLLM GPU-CPU専門家のオフロードで出力スループットを8.4%改善し、Jetson Orin NXのllama.cppでTPOTを43.6-49.8%削減した。チェックポイントと利用指示はhttps://github.com/BUAA-OSCAR/ReMoE.comで入手できる。

論文の概要: ReMoE: Boosting Expert Reuse through Router Fine-Tuning in Memory-Constrained MoE LLM Inference

関連論文リスト