論文の概要: Sparsity is Combinatorial Depth: Quantifying MoE Expressivity via Tropical Geometry

• arxiv url: http://arxiv.org/abs/2602.03204v1
• Date: Tue, 03 Feb 2026 07:17:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.305952
• Title: Sparsity is Combinatorial Depth: Quantifying MoE Expressivity via Tropical Geometry
• Title（参考訳）: Sparsity is Combinatorial Depth:Topical GeometryによるMoE表現の定量化
• Authors: Ye Su, Huayi Tang, Zixuan Gong, Yong Liu,
• Abstract要約: 熱帯幾何レンズを用いたMoEの最初の解析を行った。 我々のフレームワークは、ハイパーックスの離散幾何学とニューラル関数の連続幾何学を統一する。
• 参考スコア（独自算出の注目度）: 21.251058776601553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Mixture-of-Experts (MoE) architectures define the state-of-the-art, their theoretical success is often attributed to heuristic efficiency rather than geometric expressivity. In this work, we present the first analysis of MoE through the lens of tropical geometry, establishing that the Top-$k$ routing mechanism is algebraically isomorphic to the $k$-th elementary symmetric tropical polynomial. This isomorphism partitions the input space into the Normal Fan of a Hypersimplex, revealing that \textbf{sparsity is combinatorial depth} which scales geometric capacity by the binomial coefficient $\binom{N}{k}$. Moving beyond ambient bounds, we introduce the concept of \textit{Effective Capacity} under the Manifold Hypothesis. We prove that while dense networks suffer from capacity collapse on low-dimensional data, MoE architectures exhibit \textit{Combinatorial Resilience}, maintaining high expressivity via the transversality of routing cones. In this study, our framework unifies the discrete geometry of the Hypersimplex with the continuous geometry of neural functions, offering a rigorous theoretical justification for the topological supremacy of conditional computation.
• Abstract（参考訳）: Mixture-of-Experts (MoE) アーキテクチャは最先端技術を定義するが、理論的な成功はしばしば幾何学的表現性よりもヒューリスティックな効率によるものである。 本研究では、熱帯幾何学のレンズを通してMoEを初めて解析し、Top-$k$ルーティング機構が基本対称熱帯多項式$k$に代数的に同型であることを証明した。 この同型は入力空間を超複素群の正規ファンに分割し、 \textbf{sparsity is combinatorial depth} が二項係数 $\binom{N}{k}$ で幾何学的容量を拡大することを示した。 環境境界を超えて、我々はマニフォールド仮説の下で \textit{Effective Capacity} という概念を導入する。 我々は、高密度ネットワークが低次元データ上で容量崩壊に悩まされているのに対し、MoEアーキテクチャは、ルーティングコーンの超越性を通じて高い表現性を保ちながら、 \textit{Combinatorial Resilience} を示すことを証明した。 本研究では,ハイパープレックスの離散幾何学とニューラル関数の連続幾何学を統一し,条件計算のトポロジ的優越性に対する厳密な理論的正当性を提供する。

関連論文リスト

• SKGE: Spherical Knowledge Graph Embedding with Geometric Regularization [0.0]
  SKGE(Spherical Knowledge Graph Embedding)は、実体表現をコンパクトな多様体(超球)に制約するモデルである。 我々は、SKGEが強いユークリッドのTransEよりも一貫して著しく優れていることを示した。
  論文  参考訳（メタデータ） (2025-11-04T10:40:46Z)
• The Neural Differential Manifold: An Architecture with Explicit Geometric Structure [8.201374511929538]
  本稿では,その基本設計に幾何学的構造を明示的に組み込んだニューラルネットワークアーキテクチャであるニューラル微分マニフォールド(NDM)を紹介する。 我々は、より効率的な最適化の可能性、継続学習の強化、科学的発見と制御可能な生成モデルへの応用など、このアプローチの理論的利点を分析する。
  論文  参考訳（メタデータ） (2025-10-29T02:24:27Z)
• From Universal Approximation Theorem to Tropical Geometry of Multi-Layer Perceptrons [0.0]
  我々は、ニューラルネットワークの熱帯幾何学のレンズを通して、ユニバーサル近似理論を再考する。 本稿では,シグモダル多層パーセプトロンのための構造的・幾何学的アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-10-16T13:15:39Z)
• Contextuality, Holonomy and Discrete Fiber Bundles in Group-Valued Boltzmann Machines [0.0]
  本稿では,制限付きボルツマンマシン(RBM)の幾何学的拡張を提案する。 この一般化は、射影変換、スピノルダイナミクス、関数対称性を含む複雑な関係構造のモデリングを可能にする。 この研究の中心的な貢献は、RBMグラフのサイクルに沿って計算されたグループ値のホロノミーに基づくエンフコンテクスト性指数の導入である。 この指数は局所重みによって誘導される大域的不整合または「曲率」を定量化し、コヒーレンス、一貫性、幾何学的平坦性の古典的概念を一般化する。
  論文  参考訳（メタデータ） (2025-09-05T15:07:54Z)
• Learning Latent Graph Geometry via Fixed-Point Schrödinger-Type Activation: A Theoretical Study [1.1745324895296467]
  我々は、学習された潜在グラフ上の散逸的シュリンガー型ダイナミクスの定常状態として内部表現が進化するニューラルアーキテクチャの統一的理論的枠組みを開発する。 我々は、平衡の存在、一意性、滑らかな依存を証明し、力学がノルム保存ランダウ-リフシッツ流にブロッホ写像の下で等価であることを示す。 結果として得られるモデルクラスは、固定点 Schr"odinger 型のアクティベーションを通して潜在グラフ幾何学を学ぶためのコンパクトで幾何学的に解釈可能で解析的に抽出可能な基礎を提供する。
  論文  参考訳（メタデータ） (2025-07-27T00:35:15Z)
• Theorem-Validated Reverse Chain-of-Thought Problem Generation for Geometric Reasoning [53.13514542825493]
  TRCoT(Theorem-d Reverse Chain-of-Thought Reasoning Synthesis)フレームワークについて述べる。 最初の段階であるTR-Engineは、構造的な記述と性質を持つ定理基底幾何学図を合成する。 第2段階であるTR-Reasonerは、幾何特性と記述フラグメントを交互に検証することで、反復的に質問と回答のペアを洗練するためのリバース推論を採用している。
  論文  参考訳（メタデータ） (2024-10-23T13:58:39Z)
• Geometry Interaction Knowledge Graph Embeddings [153.69745042757066]
  ユークリッド空間,双曲空間,超球空間間の空間構造を対話的に学習する幾何学的相互作用知識グラフ埋め込み(GIE)を提案する。 提案したGIEは、よりリッチなリレーショナル情報、モデルキー推論パターンをキャプチャし、エンティティ間の表現的セマンティックマッチングを可能にする。
  論文  参考訳（メタデータ） (2022-06-24T08:33:43Z)
• A singular Riemannian geometry approach to Deep Neural Networks I. Theoretical foundations [77.86290991564829]
  ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。 我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。 このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
  論文  参考訳（メタデータ） (2021-12-17T11:43:30Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)
• On Infinite-Width Hypernetworks [101.03630454105621]
  我々は、ハイパーネットワークが、下降中のグローバルなミニマを保証していないことを示す。 我々は,これらのアーキテクチャの機能的先行を,対応するGPカーネルとNTKカーネルを導出することによって同定する。 この研究の一環として、標準完全連結ReLUネットワークの高次テイラー項の厳密な境界を導出した数学的貢献を行う。
  論文  参考訳（メタデータ） (2020-03-27T00:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。