論文の概要: Accelerating Dense LLMs via L0-regularized Mixture-of-Experts
- arxiv url: http://arxiv.org/abs/2609.21672v1
- Date: Fri, 18 Sep 2026 12:08:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.071431
- Title: Accelerating Dense LLMs via L0-regularized Mixture-of-Experts
- Title（参考訳）: L0規則化混合試験による高密度LDMの加速
- Abstract要約: 大規模言語モデル(LLM)は高い性能を達成するが、遅くてコストのかかる推論に悩まされる。
L0-regularizationを用いた軽量なMoE手法であるL0-MoEを提案する。
- 参考スコア（独自算出の注目度）: 8.848095759520096
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) achieve strong performance but suffer from slow and costly inference. Existing acceleration methods often lead to noticeable performance degradation, while Mixture-of-Experts (MoE) models require extensive computational resources. In this paper, we propose L0-MoE, a lightweight MoE approach using L0-regularization to accelerate dense LLMs nearly without performance loss. Our method introduces a cluster confusion matrix for domain-aware dataset curation and applies dynamic batching for efficient training. Experiments show that L0-MoE achieves up to 2.5x speedup over dense models while maintaining competitive performance, outperforming existing LLM acceleration baselines.
- Abstract（参考訳）: 大規模言語モデル(LLM)は高い性能を達成するが、遅くてコストのかかる推論に悩まされる。
既存の加速法はしばしば顕著な性能劣化を引き起こすが、Mixture-of-Experts (MoE) モデルは広範な計算資源を必要とする。
本稿では,L0-regularizationを用いた軽量なMoE手法であるL0-MoEを提案する。
提案手法では,ドメイン認識型データセットキュレーションのためのクラスタ混乱行列を導入し,動的バッチ処理を効率よく学習する。
実験により、L0-MoEは高密度モデルよりも2.5倍のスピードアップを実現し、競争性能を維持し、既存のLLM加速度ベースラインを上回っていることが示された。
関連論文リスト
- Dynamic-dLLM: Dynamic Cache-Budget and Adaptive Parallel Decoding for Training-Free Acceleration of Diffusion LLM [35.77320928871856]
トレーニング不要なフレームワークであるDynamic-dLLMを提案する。
LLaDA-8B-Instruct、LLaDA-1.5、Dream-v0-7B-Instructといったモデルの実験では、動的dLLMが推論速度を大幅に改善することを示した。
論文 参考訳（メタデータ） (2026-05-27T02:47:50Z) - MoBiE: Efficient Inference of Mixture of Binary Experts under Post-Training Quantization [11.19613037505662]
MoBiEは、Mixture-of-Experts (MoE)ベースの大規模言語モデル(LLM)用に設計されたバイナライズフレームワークである。
MoBiEは、複数のMoEベースのLLMとベンチマークで最先端のバイナリメソッドを一貫して上回っている。
論文 参考訳（メタデータ） (2026-04-08T08:12:26Z) - Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。
これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
論文 参考訳（メタデータ） (2025-09-30T14:40:18Z) - Dynamic Low-Rank Sparse Adaptation for Large Language Models [54.1231638555233]
Low-rank Sparse Adaptation (LoSA)は、低ランク適応をsparse LLM sparsityにシームレスに統合する新しい手法である。
LoSAは、微調整中に対応するスパース重みに基づいてLoRA結果を動的に分散する。
LoSAは、追加の推論負荷を伴わずに、スパースLSMの有効性を数時間で効果的に向上させることができる。
論文 参考訳（メタデータ） (2025-02-20T18:37:32Z) - Search for Efficient Large Language Models [52.98684997131108]
大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。
軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。
ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
論文 参考訳（メタデータ） (2024-09-25T21:32:12Z) - Pruning Large Language Models with Semi-Structural Adaptive Sparse Training [17.381160429641316]
Adaptive Sparse Trainer (AST)は、半構造化スパースモデルに適した、新規で効率的なリトレーニングフレームワークである。
ASTは、密度と2:4の半構造化スパースモデルのパープレキシティとゼロショット精度のギャップをそれぞれ0.6と1.16%に削減する。
論文 参考訳（メタデータ） (2024-07-30T06:33:44Z) - Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。
動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。
本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
論文 参考訳（メタデータ） (2023-10-13T07:38:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。