論文の概要: Conditional Capacity and Routing in Mixture-of-Experts Particle Transformers

• arxiv url: http://arxiv.org/abs/2610.02701v1
• Date: Fri, 02 Oct 2026 02:35:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.167635
• Title: Conditional Capacity and Routing in Mixture-of-Experts Particle Transformers
• Title（参考訳）: 混合形粒子変圧器の条件容量とルーティング
• Abstract要約: 我々は188級ジェットクラス-IIにおける高密度およびMoE粒子変圧器の研究を行った。 トークンのドロップが回避された場合、トップ-1 MoE モデルは、ほぼ無名な前向き計算で、濃厚なベースラインよりも改善される。 トークンごとに複数の専門家を活性化することは、より高い計算コストでさらなる予測的改善をもたらす。
• 参考スコア（独自算出の注目度）: 32.00267780729615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models can increase parameter capacity without proportionally increasing active computation, but it is unclear how this trade-off behaves in particle-physics transformers. We study dense and MoE Particle Transformers on 188-class JetClass-II, varying expert count, routing capacity, top-K, and auxiliary loss. We find that, when token dropping is avoided, top-1 MoE models improve over the dense baseline at nearly unchanged nominal forward compute, while further increasing the number of stored experts produces little additional accuracy gain. Activating multiple experts per token yields additional predictive improvements at higher computational cost. Routing analyses show that expert assignments become more strongly associated with particle identity and kinematics in some configurations, but this structure does not increase monotonically with classification performance. These results highlight the need to distinguish stored parameter capacity, active computation, routing capacity, and routing organization when evaluating sparse expert models for jet classification. Code and experiment configurations are available at https://github.com/kpendiyala/MPT.
• Abstract（参考訳）: 混合慣性モデル(MoE)は、比例的にアクティブな計算量を増やすことなくパラメータ容量を増大させることができるが、このトレードオフが粒子物理変換器でどのように振る舞うかは不明である。 我々は188クラスのJetClass-II, 各種の専門家数, ルーティング能力, トップK, 補助損失について, 密度およびMoE粒子変換器について検討した。 トークンのドロップが回避された場合、トップ-1 MoEモデルは、ほぼ無名な前処理で高密度のベースラインよりも改善され、さらに保存された専門家の数が増加すると、精度が向上する。 トークンごとに複数の専門家を活性化することは、より高い計算コストでさらなる予測的改善をもたらす。 ルーティング解析により、一部の構成では、専門家の割り当ては粒子の同一性や運動学に強く結びついていることが分かるが、この構造は分類性能とともに単調に増加しない。 これらの結果は、ジェット分類のためのスパースエキスパートモデルを評価する際に、格納されたパラメータキャパシティ、アクティブ計算、ルーティングキャパシティ、ルーティング機構を区別する必要性を強調している。 コードと実験の構成はhttps://github.com/kpendiyala/MPT.comで公開されている。

関連論文リスト

• Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts [27.40662720929157]
  Mixture-of-Experts (MoE) は大規模言語モデルをスケールするための主要なアーキテクチャとなっている。 本稿では,専門家数を増やすことで,MoE容量を段階的に拡大する専門家アップサイクリングを提案する。 筆者らの7B-13B総合パラメータ実験では,GPU時間の32%を節約しながら,検証損失の固定サイズベースラインと一致した。
  論文  参考訳（メタデータ） (2026-04-21T05:53:33Z)
• Generalization and Scaling Laws for Mixture-of-Experts Transformers [0.0]
  我々は,Mixture-of-Experts (MoE) 変換器の一般化とスケーリングの理論を開発する。 本手法は, アクティブパラメータの予算で計量エントロピーがスケールする超ノルム被覆数界を導出し, MoE 固有のルーティングオーバヘッドを発生させる。 我々は,MoE アーキテクチャの構成的近似定理を証明し,近似構成の下では,アクティブキャパシティのスケーリングや専門家数の増加によって誤差が減少することを示した。
  論文  参考訳（メタデータ） (2026-04-10T09:59:48Z)
• Mixture-of-Transformers Learn Faster: A Theoretical Study on Classification Problems [59.94955550958074]
  本研究では,各変圧器ブロックが連続的に訓練されたゲーティングネットワークによって制御される専門家として機能する,トラクタブルな理論的枠組みについて検討する。 専門家の専門化は、勾配の衝突を減らし、各サブタスクを強く凸させることを示す。 トレーニングによって予測損失が$O(log(epsilon-1)$のステップでゼロに近づき、単一変圧器の$O(epsilon-1)$のレートよりも大幅に向上することが証明された。
  論文  参考訳（メタデータ） (2025-10-30T21:07:36Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。 密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。 また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• Exploiting Activation Sparsity with Dense to Dynamic-k Mixture-of-Experts Conversion [4.716845031095804]
  トランスフォーマーモデルは、高い計算要求のため、実用的な制限に直面する可能性がある。 このようなモデルは、ネットワークの一部を等価なMixture-of-Experts (MoE)層に変換することで、推論コストを削減するために利用することができる。 本研究では,基本モデルの活性化間隔を適切に正規化することにより,変換効率を大幅に向上できることを実証する。
  論文  参考訳（メタデータ） (2023-10-06T16:34:51Z)
• Sparse MoE as the New Dropout: Scaling Dense and Self-Slimmable Transformers [107.3726071306935]
  そこで我々は,SMoE-Dropoutというプラグイン・アンド・プレイ・トレーニング・フレームワークを提案する。 SMoE-Dropoutはランダムで固定されたルータネットワークで構成され、エキスパートを活性化し、トレーニングが進むにつれて、アクティベートされたエキスパート数を徐々に増加させる。 本実験では,SMoE-Dropout の高密度トレーニングベースラインと等価パラメータ数との比較により,SMoE-Dropout の優れた性能と計算精度を実証した。
  論文  参考訳（メタデータ） (2023-03-02T22:12:51Z)
• Taming Sparsely Activated Transformer with Stochastic Experts [76.0711573018493]
  わずかに活性化されたモデル(SAM)は、計算コストを大幅に増加させることなく、非常に大量のパラメータを持つように容易にスケールすることができる。 本稿では,新しいエキスパートベースモデルTHOR(Transformer witH StOchastic ExpeRts)を提案する。 Switch Transformerのような古典的なエキスパートベースのモデルとは異なり、THORの専門家はトレーニングと推論の間、各入力に対してランダムにアクティベートされる。
  論文  参考訳（メタデータ） (2021-10-08T17:15:47Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。