論文の概要: Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE

• arxiv url: http://arxiv.org/abs/2609.38140v1
• Date: Tue, 29 Sep 2026 17:55:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.818518
• Title: Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE
• Title（参考訳）: SplitMoEによるビデオ拡散モデルのスケーリング
• Abstract要約: 均一性のシャクルスを破るスプリットロールスパースアーキテクチャであるSplitMoEを提案する。 SplitMoEは、コンバージェンス速度、ルーティングコヒーレンス、ビデオ生成品質において、従来の負荷バランスのMoEよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 46.155163397997086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE), popularized by large language models, is a promising paradigm for scaling visual generative models. However, conventional token-wise MoE routes tokens independently within a homogeneous expert pool and regularizes expert usage toward uniformity, making it poorly matched to video data that is spatiotemporally redundant and semantically long-tailed. We show that existing visual MoEs fall into a uniformity trap: semantically under-organized routing, compounded by uniform expert-usage regularization, scatters coherent patches across disparate experts, causing routing fragmentation and structural distortion. To address this, we propose SplitMoE, a split-role sparse architecture that breaks the shackles of uniformity. To accommodate the inherent semantic imbalance, we explicitly bifurcate the expert pool into semantic experts and generic experts, with semantic experts capturing high-level semantic abstraction and generic experts preserving residual visual information and flexible generative capacity. Leveraging prototype-guided routing and pull-push regularization, SplitMoE enables tokens to cluster naturally by semantic attributes rather than arbitrary balancing constraints. Extensive results show that under an equivalent activated-parameter budget, SplitMoE outperforms traditional load-balanced MoEs in convergence speed, routing coherence, and video generation quality across standard benchmarks. By revealing an emergent coarse-to-fine denoising logic, SplitMoE provides the community with a modality-aware scaling path, serving as a critical reference for building large-scale video world models.
• Abstract（参考訳）: 大規模言語モデルによって普及したMixture-of-Experts (MoE)は、視覚的生成モデルを拡張するための有望なパラダイムである。 しかし、従来のトークン単位のMoEは、トークンを均質なエキスパートプール内で独立にルーティングし、専門家の使用を均一性に向けて規則化し、時空間的に冗長でセマンティックに長いビデオデータとはあまり一致しない。 我々は,既存の視覚的MoEが一様性のトラップに陥ることを示し,一様の専門家・使用規則化によって構成される意味的過小なルーティング,異なる専門家間でコヒーレントなパッチの散布,ルーティングの断片化と構造的歪みを引き起こすことを示す。 そこで本研究では,スプリットロール型スパースアーキテクチャであるSplitMoEを提案する。 セマンティック・セマンティック・インバランスに対応するため,セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティクスとセマンティック・セマンティクス・セマンティクス・セマンティクス・セマンティクス(セマンティック・セマンティクス・セマンティクス・セマンティクス・セマンティクス) SplitMoEはプロトタイプ誘導ルーティングとプルプッシュ正規化を活用することで、トークンを任意のバランシング制約ではなく、セマンティック属性によって自然にクラスタすることを可能にする。 SplitMoEは従来の負荷バランスのMoEよりも、コンバージェンス速度、ルーティングコヒーレンス、ビデオ生成品質に優れていた。 SplitMoEは、創発的な粗大なデノゲーションロジックを明らかにすることで、コミュニティにモダリティを意識したスケーリングパスを提供し、大規模なビデオワールドモデルを構築する上で重要なリファレンスとなる。

関連論文リスト

• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• Multi-level context Modeling for consistent expert selection in Mixture-of-Experts [3.4913929232937604]
  Mixture-of-Experts (MoE)は、トークンを少数の専門家にルーティングすることで、Transformerモデルの効率的なスケーリングを可能にする。 既存のルータは通常、浅いあるいは孤立したトークン表現に対して専門家の選択を条件にしている。 階層間セマンティックアグリゲーションと局所トークンレベルの相互作用から補完的な信号を統合することでコンテキスト認識表現を構築するフレームワークであるMulti-level Context Fusion MOEを提案する。
  論文  参考訳（メタデータ） (2026-07-17T18:22:42Z)
• AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE [51.994752158953084]
  AnchorMoEは、解釈可能な構成別分類フレームワークである。 ローカルパッチのマルチビュー表現をエンコードし、専門の専門家にルーティングする。 実世界のベンチマークと合成ベンチマークの実験は、AnchorMoEが非常に競争力のある分類性能を達成することを示した。
  論文  参考訳（メタデータ） (2026-06-02T13:30:54Z)
• DAG-MoE: From Simple Mixture to Structural Aggregation in Mixture-of-Experts [56.175408382091796]
  本研究では, 標準重み付け集約を構造集約に置き換えることにより, 専門家やルータを変更することなく, 専門家合成空間を拡大することを示す。 DAG-MoEは軽量モジュールを用いて,選択した専門家の最適な集約構造を自動的に学習するスパースMoEフレームワークである。
  論文  参考訳（メタデータ） (2026-05-31T07:08:16Z)
• ModuSeg: Decoupling Object Discovery and Semantic Retrieval for Training-Free Weakly Supervised Segmentation [8.671473711194741]
  弱教師付きセマンティックセグメンテーションは、画像レベルのラベルを用いてピクセルレベルの予測を実現することを目的としている。 我々は、オブジェクト発見と意味代入を明確に分離することに焦点を当てた、トレーニング不要な弱教師付きセマンティックセマンティックセマンティクスフレームワークであるModuSegを紹介する。
  論文  参考訳（メタデータ） (2026-04-08T12:38:07Z)
• Routing Matters in MoE: Scaling Diffusion Transformers with Explicit Routing Guidance [79.21541758879012]
  Mixture-of-Experts (MoE) は計算効率を保ちながらモデルキャパシティをスケールするための強力なパラダイムとして登場した。 本稿では、専門家の専門化を促進する明示的なルーティングガイダンスを備えた2ステップルータを備えたMoEフレームワークであるProMoEを紹介する。
  論文  参考訳（メタデータ） (2025-10-28T17:59:02Z)
• Mixture of Group Experts for Learning Invariant Representations [25.935653652324532]
  わずかに活性化されたMixture-of-Experts (MoE)モデルはトークン当たりの一貫した計算コストを維持しながらパラメータ数を効果的に増加させる。 スパース表現にインスパイアされた上位$kのルーティングによるバニラMOEの新しい視点を示す。 グループエキスパートの混合(Mixture of Group Experts, MOGE)と呼ばれるトップ$kのルーティング入力に対するグループスパース正規化手法を提案する。
  論文  参考訳（メタデータ） (2025-04-12T15:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。