論文の概要: MoEITS: A Green AI approach for simplifying MoE-LLMs

• arxiv url: http://arxiv.org/abs/2604.10603v1
• Date: Sun, 12 Apr 2026 12:17:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.12798
• Title: MoEITS: A Green AI approach for simplifying MoE-LLMs
• Title（参考訳）: MoEITS: MoE-LLMを簡単にするためのグリーンAIアプローチ
• Authors: Luis Balderas, Miguel Lastra, José M. Benítez,
• Abstract要約: MoE-LLMs単純化のための元のアルゴリズムであるMoEITSを示す。 MoEITSは洗練されたシンプルさで特徴付けられ、標準化された情報理論フレームワークによって支えられている。 これはMixtral 8times7$B、Qwen1.5-2.7B、DeepSeek-V2-Liteに適用された最先端のMoE-LLMプルーニング法と比較される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are transforming all areas of academia and industry, attracting the attention of researchers, professionals, and the general public. In the trek for more powerful architectures, Mixture-of-Experts, inspired by ensemble models, have emerged as one of the most effective ways to follow. However, this implies a high computational burden for both training and inference. To reduce the impact on computing and memory footprint as well as the energy consumption, simplification methods has arisen as very effective procedures. In this paper, an original algorithm, MoEITS, for MoE-LLMs simplification is presented. The algorithm is characterized by a refined simplicity, underpinned by standardized Information Theoretic frameworks. MoEITS is analyzed in depth from theoretical and practical points of view. Its computational complexity is studied. Its performance on the accuracy of the simplified LLMs and the reduction rate achieved is assessed through a thoroughly designed experimentation. This empirical evaluation includes a comparison with state-of-the-art MoE-LLM pruning methods applied on Mixtral $8\times7$B, Qwen1.5-2.7B, and DeepSeek-V2-Lite. The extensive experimentation conducted demonstrates that MoEITS outperforms state-of-the-art techniques by generating models that are both effective across all benchmarks and computationally efficient. The code implementing the method will be available at https://github.com/luisbalru/MoEITS.
• Abstract（参考訳）: 大規模な言語モデルは、学術と産業のあらゆる領域を変革し、研究者、専門家、一般大衆の注目を集めている。 より強力なアーキテクチャのために、アンサンブルモデルにインスパイアされたMixture-of-Expertsが、最も効果的な方法の1つとして登場した。 しかし、これはトレーニングと推論の両方に高い計算負担がかかることを意味する。 計算とメモリフットプリントへの影響を減らし、エネルギー消費を減らすため、単純化法は非常に効果的な方法として生まれてきた。 本稿では,MoE-LLMs単純化のためのアルゴリズムMoEITSを提案する。 このアルゴリズムは洗練された単純さで特徴付けられ、標準化された情報理論フレームワークによって支えられている。 MoEITSは理論的・実践的な観点から詳細に分析される。 その計算複雑性は研究されている。 簡易LLMの精度と低減率に関する性能を、十分に設計された実験を通して評価する。 この実証評価は、Mixtral 8,\times7$B、Qwen1.5-2.7B、DeepSeek-V2-Liteに適用された最先端のMoE-LLMプルーニング法との比較を含む。 大規模な実験により、MoEITSは全てのベンチマークと計算効率の両方で有効であるモデルを生成することにより、最先端技術よりも優れていることが示された。 このメソッドを実装するコードはhttps://github.com/luisbalru/MoEITS.comで入手できる。

関連論文リスト

• LExI: Layer-Adaptive Active Experts for Efficient MoE Model Inference [2.8653469160349077]
  我々は、事前訓練されたMoEモデルにおいて、各層当たりのアクティブな専門家の最適な数を決定する、データフリーな最適化手法であるLExIを紹介する。 最先端の言語とビジョンのMoEベンチマークの実験では、LExIは推論効率の点で従来のMoEプルーニング手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-09-02T19:01:46Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• MoLAE: Mixture of Latent Experts for Parameter-Efficient Language Models [10.623996218106564]
  Mixture of Experts (MoE)は、Large Language Models (LLM)を効率的にスケーリングするための重要なアーキテクチャパラダイムとなっている。 我々は、共有射影を通して専門家の操作を低次元の潜在空間に変換する新しいパラメータ化であるMoLAEを導入し、それに続いて専門家固有の変換を行う。 モデル性能を保ちながら,MoLAEは複数の次元にわたる効率を著しく向上することを示す。
  論文  参考訳（メタデータ） (2025-03-29T14:35:34Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• QuantMoE-Bench: Examining Post-Training Quantization for Mixture-of-Experts [47.01697456105496]
  Mixture-of-Experts (MoE)は、大規模言語モデルの学習能力をスケールアップする有望な方法である。 MoEは大きなパラメータサイズのためにメモリオーバーヘッドに悩まされる。 トレーニング後の量子化は、モデル圧縮に強力なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-06-12T12:44:48Z)
• MoE-LLaVA: Mixture of Experts for Large Vision-Language Models [49.32669226551026]
  本稿では,LVLMのための簡易かつ効果的なトレーニング戦略であるMoE-Tuningを提案する。 MoE-LLaVAはMoEベースのスパースLVLMアーキテクチャであり、ルータを通じてトップkの専門家のみをユニークに活性化する。 様々な視覚的理解と物体幻覚のベンチマークにおいて,MoE-LLaVAの顕著な性能を示す実験を行った。
  論文  参考訳（メタデータ） (2024-01-29T08:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。