論文の概要: IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2609.21346v1
• Date: Fri, 18 Sep 2026 06:01:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.872387
• Title: IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts
• Title（参考訳）: IntBMoE:完全参加型エキスパートコンポジションへのブロックレベル条件の統合
• Abstract要約: Mixture-of-Experts (MoE) はキャパシティをスケールするが、既存の設計では独立して3つの量を設定することはできない。 本稿では,ブロック条件のMoEであるIntBMoEを提案する。 IntBMoEはAMapのジェネレーティブレコメンデーションシステムに完全にデプロイされており、60msの遅延予算の下で数億のユーザにサービスを提供している。
• 参考スコア（独自算出の注目度）: 23.951763844009836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) scales capacity, but existing designs cannot set three quantities independently. For a single token, participation is how many experts contribute knowledge to its output, execution is how many are actually computed (compute cost), and materialization is how many expert-sized parameter sets must be built and stored (memory cost). Sparse routing keeps execution and materialization low, but shrinks participation: for each token, only a few experts contribute. Dense output-mixing restores full participation, but its execution grows with the number of experts. Parameter-merging keeps execution at one expert, but its materialization grows with the number of routing decisions. We propose IntBMoE, a block-conditioned MoE that decouples all three by pairing dense expert composition with sparse block execution. Its blocks come from a small learned codebook, one per entry. At each internal layer, a lightweight hypernetwork merges all expert bases in that layer's pool into one composed expert. Participation is full, because every composed expert draws on the entire pool. Execution stays sparse, because a router sends each token to only a few blocks. Materialization is bounded, because the codebook, not the input, fixes how many blocks exist. Dual-Path Residual Gating (DPRG) further couples two independently composed paths through multiplicative gating. Experiments on image classification show consistent gains over representative sparse and dense MoE baselines. Additional experiments on language modeling and sequential recommendation validate its generalization beyond vision. IntBMoE is fully deployed in AMap's generative recommendation system, serving hundreds of millions of users under a 60ms latency budget, with a 2.4% relative UVCTR gain in online A/B testing. Our code is available at https://github.com/AMAP-ML/DreamX-Rec/.
• Abstract（参考訳）: Mixture-of-Experts (MoE) はキャパシティをスケールするが、既存の設計では独立して3つの量を設定することはできない。 ひとつのトークンに対して、参加者は、そのアウトプットに知識を貢献する専門家の数であり、実行は実際に計算された専門家の数(計算コスト)であり、実体化は、専門家サイズのパラメータセットをいくつ構築し、保存する必要があるか(メモリコスト)である。 スパースルーティングは実行と実体化を低く保ちますが、参加を縮小します。 Denseの出力ミキシングは完全な参加を回復するが、その実行は専門家の数とともに増加する。 パラメータのマージは、ひとつの専門家で実行し続けるが、その実体化はルーティング決定の数によって増加する。 本稿では,ブロック条件のMoEであるIntBMoEを提案する。 そのブロックは、小さな学習されたコードブックからできており、エントリごとに1つだ。 各内部レイヤでは、軽量なハイパーネットワークが、そのレイヤのプール内のすべてのエキスパートベースを1つの構成されたエキスパートにマージします。 すべての作曲した専門家がプール全体に描くので、参加は満員です。 ルータが各トークンをわずか数ブロックに送信するため、実行はスパースのままである。 コードブックは入力ではなく、ブロック数を修正するため、物質化は境界づけられている。 Dual-Path Residual Gating (DPRG)はさらに、2つの独立した構成された経路を乗法ゲーティングを介して結合する。 画像分類実験は、代表スパースと高密度MoEベースラインよりも一貫した利得を示した。 言語モデリングとシーケンシャルレコメンデーションに関するさらなる実験は、その一般化をビジョンを超えて検証する。 IntBMoEは、AMapのジェネレーティブレコメンデーションシステムに完全にデプロイされており、60msの遅延予算の下で数億のユーザーにサービスを提供している。 私たちのコードはhttps://github.com/AMAP-ML/DreamX-Rec/で利用可能です。

関連論文リスト

• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• dMoE: dLLMs with Learnable Block Experts [71.572316901001]
  単純なブロックレベルのMoEフレームワークであるdMoEを提案する。 また,dMoEは,推論中に一意に活性化される専門家の数を著しく減少させることを示した。 また、メモリ使用量を76.64%から79.84%に減らし、1.14$times$から1.66$times$エンドツーエンドのレイテンシ高速化を実現している。
  論文  参考訳（メタデータ） (2026-05-29T06:03:50Z)
• Mixture of Thoughts: Learning to Aggregate What Experts Think, Not Just What They Say [4.273730624882391]
  Mixture of Thoughts (MoT) は、グローバルなルーティング方式の下で、異種の専門家間の潜在レベル協調のための単純な方法である。 MoTは現在のルーティングと集約ベースのアベンジャーズをそれぞれ$+0.38%$と$+2.92%$で上回っている。
  論文  参考訳（メタデータ） (2025-09-25T13:50:09Z)
• Chain-of-Experts: Unlocking the Communication Power of Mixture-of-Experts Models [58.54288496296157]
  CoE(Chain-of-Experts)は新しいMixture-of-Experts(MoE)アーキテクチャで、各レイヤ内でのシーケンシャルな専門家通信を導入している。 イテレーション間の動的専門家選択をサポートするために、CoEはレイヤ内の各ステップに専用のルータを使用している。
  論文  参考訳（メタデータ） (2025-06-23T02:15:43Z)
• Mixture of Lookup Experts [63.787712153454464]
  Mixture-of-Experts (MoE)は、推論中に専門家のサブセットだけを起動する。 MoLEは通信とVRAMの両方で効率的な新しいMoEアーキテクチャである。
  論文  参考訳（メタデータ） (2025-03-20T02:31:57Z)
• MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts [63.67734699877724]
  MoE++は、Feed-Forward Network(FFN)とゼロ計算の専門家を統合した、汎用的で異種なMoEフレームワークである。 MoE++は、1.1-2.1xのエキスパートの前方スループットを同じサイズのバニラのMoEモデルと比較すると、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2024-10-09T18:01:27Z)
• Mixture of Diverse Size Experts [13.29015039603752]
  Sparsely-Activated Mixture-of-Experts (MoE) は、計算コストを犠牲にすることなく大規模言語モデル (LLM) のスケールアップで人気を博している。 異なる大きさのエキスパートを持つよう設計されたレイヤを持つMoEアーキテクチャであるMoDSE(Mixture of Diverse Size Experts)を提案する。
  論文  参考訳（メタデータ） (2024-09-18T08:23:27Z)
• Mixtral of Experts [57.411379935325435]
  Mixtral 8x7Bはスパース・ミックス・オブ・エキスパートズ(SMOE)言語モデルである。 Mixtralは数学、コード生成、多言語ベンチマークでLlama 270Bをはるかに上回っている。 また、GPT-3.5 Turbo、Claude-2.1、Gemini Pro、Llama 2 70Bを超越したMixtral 8x7B - Instructという命令に従うように微調整されたモデルも提供する。
  論文  参考訳（メタデータ） (2024-01-08T18:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。