論文の概要: BEAM: Binary Expert Activation Masking for Dynamic Routing in MoE

• arxiv url: http://arxiv.org/abs/2605.14438v1
• Date: Thu, 14 May 2026 06:33:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.664003
• Title: BEAM: Binary Expert Activation Masking for Dynamic Routing in MoE
• Title（参考訳）: BEAM: MoEにおける動的ルーティングのためのバイナリエキスパートアクティベーションマスキング
• Abstract要約: Mixture-of-Experts (MoE)アーキテクチャはトークンごとに専門家のサブセットだけを活性化する。 既存のアクセラレーション手法では、アーキテクチャの変更でコストがかかるか、あるいは高頻度で厳しいパフォーマンス低下に苦しむ必要がある。 訓練可能なバイナリマスクを用いてトークン適応型エキスパート選択を学習する新しい手法BEAMを提案する。
• 参考スコア（独自算出の注目度）: 18.898045833395095
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Mixture-of-Experts (MoE) architectures enhance the efficiency of large language models by activating only a subset of experts per token. However, standard MoE employs a fixed Top-K routing strategy, leading to redundant computation and suboptimal inference latency. Existing acceleration methods either require costly retraining with architectural changes or suffer from severe performance drop at high sparsity due to train-inference mismatch. To address these limitations, we propose BEAM (Binary Expert Activation Masking), a novel method that learns token-adaptive expert selection via trainable binary masks. With a straight-through estimator and an auxiliary regularization loss, BEAM induces dynamic expert sparsity through end-to-end training while maintaining model capability. We further implement an efficient custom CUDA kernel for BEAM, ensuring seamless integration with the vLLM inference framework. Experiments show that BEAM retains over 98\% of the original model's performance while reducing MoE layer FLOPs by up to 85\%, achieving up to 2.5$\times$ faster decoding and 1.4$\times$ higher throughput, demonstrating its effectiveness as a practical, plug-and-play solution for efficient MoE inference.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、トークンごとに専門家のサブセットだけを活性化することで、大きな言語モデルの効率を高める。 しかし、標準のMoEはTop-Kルーティング戦略を固定しており、冗長な計算と準最適推論遅延につながる。 既存のアクセラレーション手法では、アーキテクチャの変更によるコストのかかる再訓練が必要か、あるいは列車の干渉ミスマッチによる高い間隔での大幅な性能低下に悩まされる。 このような制約に対処するため,訓練可能なバイナリマスクを用いてトークン適応型エキスパート選択を学習するBEAM(Binary Expert Activation Masking)を提案する。 ストレートスルー推定器と補助的な正規化損失により、BEAMはモデル能力を維持しながらエンドツーエンドのトレーニングを通じて動的専門家の疎結合を誘導する。 さらに、BEAM用の効率的なカスタムCUDAカーネルを実装し、vLLM推論フレームワークとのシームレスな統合を保証する。 実験の結果、BEAMはオリジナルのモデルの性能の98 %以上を保持し、MoE層FLOPを最大85 %削減し、2.5$\times$高速デコーディングと1.4$\times$高スループットを実現し、効率的なMoE推論のための実用的なプラグアンドプレイソリューションとしての有効性を示した。

関連論文リスト

• APEX: Adaptive Expert Prefetching for Memory-Efficient Edge MoE Inference [0.0]
  Mixture-of-Experts(MoE)モデルは、トークン当たりのパラメータの小さなサブセットのみをアクティベートしながら、高いモデルキャパシティを提供するため、エッジデプロイメントにとって魅力的なものだ。 本稿では,APEX:Adaptive Expert Prefetchingについて述べる。
  論文  参考訳（メタデータ） (2026-08-12T05:57:09Z)
• Post-Trained MoE Can Skip Half Experts via Self-Distillation [35.17955778301488]
  Mixture-of-Experts (MoE)は、スパース専門家のアクティベーションを通じて、言語モデルを効率的にスケールする。 MoEの動的変種は、アクティベートされた専門家を入力依存の方法で調整することで、計算をさらに削減する。 本稿では,Zero-Expert Self-Distillation Adaptation (ZEDA)について紹介する。
  論文  参考訳（メタデータ） (2026-05-18T16:50:48Z)
• Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution [34.06023804017819]
  我々は,MoEモデルにおいて,経験的アクティベーション空間を相補的かつ未探索の空間空間次元として探求し,活用する。 驚くべきことに、既存のトレーニング済みのMoEモデルでは、相当な試験内間隔が容易に利用できる。 我々は、不活性ニューロンの計算をスキップすることで、エキスパート内アクティベーション間隔を活用するために、vLLMのMoE実行パイプラインを拡張した。
  論文  参考訳（メタデータ） (2026-05-09T00:34:55Z)
• SERE: Similarity-based Expert Re-routing for Efficient Batch Decoding in MoE Models [19.56443760368644]
  類似性に基づくSERE(Expert Re-routing method for Efficient batch decoding in MoE model)を提案する。 SEREは、セカンダリエキスパートから最もよく似たプライマリエキスパートにトークンを再ルートすることで、アクティブエキスパートの数を動的に削減する。 SEREは、最小品質の損失で最大2.0倍のスピードアップを実現し、コスト効率とレイテンシに敏感な大規模なMoEデプロイメントのための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-02-07T16:51:16Z)
• MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
  我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。 MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
  論文  参考訳（メタデータ） (2025-11-19T18:48:27Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• LExI: Layer-Adaptive Active Experts for Efficient MoE Model Inference [2.8653469160349077]
  我々は、事前訓練されたMoEモデルにおいて、各層当たりのアクティブな専門家の最適な数を決定する、データフリーな最適化手法であるLExIを紹介する。 最先端の言語とビジョンのMoEベンチマークの実験では、LExIは推論効率の点で従来のMoEプルーニング手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-09-02T19:01:46Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• AdapMoE: Adaptive Sensitivity-based Expert Gating and Management for Efficient MoE Inference [13.263938935671646]
  AdapMoEは、効率的なMoE推論のためのアルゴリズムとシステムの共同設計フレームワークである。 AdapMoEは、オンデマンドのロードオーバーヘッドを減らすために、アダプティブなエキスパートゲーティングと管理機能を備えている。 AdapMoEは既存の技術より一貫して優れており、アクティベートされた専門家の平均数が25%減少し、精度を低下させることなく1.35倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2024-08-19T03:27:15Z)
• Expert-Token Resonance MoE: Bidirectional Routing with Efficiency Affinity-Driven Active Selection [19.365009652356793]
  エキスパート-トークン共鳴(ETR)は、専門家-トークン相互作用を再想像する理論的な双方向ルーティング機構である。 ETRは、ベースラインのMoE実装と比較して、エンドツーエンドのトレーニング効率が5.4%-46.6%向上している。
  論文  参考訳（メタデータ） (2024-05-24T02:50:44Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。