論文の概要: HodgeCover: Higher-Order Topological Coverage Drives Compression of Sparse Mixture-of-Experts
- arxiv url: http://arxiv.org/abs/2605.13997v1
- Date: Wed, 13 May 2026 18:07:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:34.449259
- Title: HodgeCover: Higher-Order Topological Coverage Drives Compression of Sparse Mixture-of-Experts
- Title（参考訳）: HodgeCover:Sparse Mixture-of-Expertsの圧縮による高次トポロジカルカバードライブ
- Authors: Tao Zhong, Dongzhe Zheng, Christine Allen-Blanchette,
- Abstract要約: 学習したMoE構造体の高調波核を露出すると、圧縮機が最も重要となるレシエーションに勝つことが示される。
HodgeCoverは、ハーモニック・クリティカル・エッジとトリプルト・クリティカル・トライアングルを優しく覆い、HodgeCoverのハイブリッド版は、生き残りを生かした重量と組み合わせている。
- 参考スコア（独自算出の注目度）: 4.3337853955861805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse Mixture-of-Experts (MoE) layers route tokens through a handful of experts, and learning-free compression of these layers reduces inference cost without retraining. A subtle obstruction blocks every existing compressor in this family: three experts can each be pairwise compatible yet form an irreducible cycle when merged together, so any score that ranks experts on pairwise signals is structurally blind to which triples are jointly mergeable. We show the obstruction is a precise mathematical object, the harmonic kernel of the simplicial Laplacian on a 2-complex whose vertices are experts, whose edges carry KL merge barriers, and whose faces carry triplet barriers; Hodge-decomposing the edge-barrier signal isolates the kernel exactly. We turn the diagnostic into a selection objective: HodgeCover greedily covers the harmonic-critical edges and triplet-critical triangles, and a hybrid variant of HodgeCover pairs it with off-the-shelf weight pruning on survivors. On three open-weight Sparse MoE backbones under aggressive expert reduction, HodgeCover matches state-of-the-art learning-free baselines on the expert-reduction axis, leads on the aggressive-compression frontier of the hybrid axis, and uniquely balances retained mass across all four Hodge components. These results show that exposing the harmonic kernel of a learned MoE structure changes which compressor wins at the regime that matters most.
- Abstract（参考訳）: Sparse Mixture-of-Experts (MoE) は、少数の専門家を通じてトークンをルーティングする層であり、これらのレイヤの学習不要な圧縮は、再トレーニングなしに推論コストを削減する。
微妙な妨害により、このファミリーのすべての既存の圧縮機がブロックされる: 3人の専門家は、それぞれがペアで互換性を持ち、組み合わせると既約サイクルを形成することができるので、ペアの信号で専門家をランク付けするスコアは、三重項が結合可能な構造的に盲目である。
ブロックは正確な数学的対象であり、頂点がKLマージバリアを持ち、顔がトリプルトバリアを持つ2-プレプレックス上の単純ラプラシアン核は、エッジバリア信号のホッジ分解によってカーネルを正確に分離する。
HodgeCoverは、調和臨界エッジと三重項臨界三角形を優雅に覆い、HodgeCoverのハイブリッド版は、生き残りに重み付けを施した状態で組み合わせる。
3つのオープンウェイトなスパースMOEバックボーンにおいて、HodgeCoverは専門家還元軸の最先端の学習自由ベースラインと一致し、ハイブリッド軸のアグレッシブ圧縮フロンティアを導き、4つのホッジ成分のそれぞれに一意に保持質量をバランスさせる。
これらの結果から,学習したMoE構造体の高調波核を露出すると,圧縮機が最も重要となるレシエーションに勝つことが示唆された。
関連論文リスト
- Topology-Preserving Neural Operator Learning via Hodge Decomposition [4.3337853955861805]
関数空間の観点から幾何メッシュ上の物理場方程式の解演算子について検討する。
ホッジ理論と作用素分割に基づいて、原理化された作用素レベルの分解を導出する。
本手法は,物理不変量に対する忠実度を向上した幾何グラフの精度と効率性を向上する。
論文 参考訳（メタデータ） (2026-05-13T17:56:23Z) - HarmoGS: Robust 3D Gaussian Splatting in the Wild via Conflict-Aware Gradient Harmonization [82.42818558196615]
In the-the-wild 3D Gaussian Splattingは、過渡的乱れと照明による視界不整合のため、依然として困難である。
本稿では、画像空間の監督と勾配レベルの最適化の両方からこの問題に対処するコンフリクト対応3DGSフレームワークを提案する。
本手法は,複雑な過渡トラクタとクロスビューの不整合の下で,最先端のレンダリング品質を実現する。
論文 参考訳（メタデータ） (2026-05-13T06:47:09Z) - Tunable information insulation induced by constraint mismatch [0.0]
双対制約を持つ2つのD$PXP$チェーンの合成モデルについて検討する。
複数の凍ったジャンクションがヒルベルト空間を破砕し、不連結なクリロフの破片となった。
機械的に保護されたゼロエネルギーモードは、物理的端とジャンクション部位の近くのバルクに局所的なピークを持つことができる。
論文 参考訳（メタデータ） (2026-04-01T10:53:39Z) - LG-HCC: Local Geometry-Aware Hierarchical Context Compression for 3D Gaussian Splatting [77.81227097905865]
アンカーベースの3DGS圧縮スキームは、いくつかの高度な文脈モデルを通してガウスの冗長性を減少させる。
本稿では, アンカープルーニングとエントロピー符号化にアンカー幾何学的相関を組み込んだ3DGSのための局所幾何学的階層型コンテキスト圧縮フレームワークを提案する。
実験の結果、LG-HCCは構造保存の問題を効果的に緩和し、Mip-NeRF360データセット上のScaffold-GSベースラインと比較して最大30.85倍のストレージを削減した。
論文 参考訳（メタデータ） (2026-03-30T13:39:35Z) - AKLT Hamiltonian from Hubbard tripods [0.0]
まず、一つの三重項が、実効的な$S = 1$自由度に対応する頑健な3次元退化低エネルギー多様体をホストしていることを示す。
そして、正確な対角化と4階準退化理論を組み合わせることで、結合三脚の対に対して有効な双線型双立方体スピンモデルを導出する。
論文 参考訳（メタデータ） (2026-03-06T16:46:07Z) - SKANet: A Cognitive Dual-Stream Framework with Adaptive Modality Fusion for Robust Compound GNSS Interference Classification [47.20483076887704]
グローバルナビゲーション衛星システム(GNSS)は、洗練された妨害による脅威の増大に直面している。
時間周波数画像(TFI)とパワースペクトル密度(PSD)を統合した2重ストリームアーキテクチャに基づく認知的ディープラーニングフレームワークを提案する。
SKANetは96.99%の精度を達成し、複合妨害分類において優れたロバスト性を示した。
論文 参考訳（メタデータ） (2026-01-19T07:42:45Z) - HBridge: H-Shape Bridging of Heterogeneous Experts for Unified Multimodal Understanding and Generation [72.69742127579508]
最近の統一モデルでは、理解の専門家(LLMなど)と生成の専門家(拡散モデルなど)を統合している。
本研究では,非対称なH字型アーキテクチャであるHBridgeを提案する。
複数のベンチマークにわたる大規模な実験は、HBridgeの有効性と優れた性能を示している。
論文 参考訳（メタデータ） (2025-11-25T17:23:38Z) - Spectral Graph Clustering under Differential Privacy: Balancing Privacy, Accuracy, and Efficiency [53.98433419539793]
エッジ差分プライバシー(DP)下におけるスペクトルグラフクラスタリングの問題点について検討する。
具体的には, (i) エッジフリップによるグラフ摂動と, エッジプライバシを強制する隣接行列シャッフルを併用したグラフ摂動, (ii) 次元と複雑性の複雑さを低減するために低次元空間における加法的ガウス雑音を伴うプライベートグラフプロジェクション, (iii) 収束性を維持しながらエッジDPを確保するために反復的にガウス雑音を分散するノイズの多いパワーイテレーション手法である。
論文 参考訳（メタデータ） (2025-10-08T15:30:27Z) - Beyond symmetry protection: Robust feedback-enforced edge states in non-Hermitian stacked quantum spin Hall systems [2.498439320062193]
従来の知恵では、2つのQSH層が強く結合すると、自明な$mathbbZ$相となり、保護された位相的エッジ状態が存在しない。
中間層間結合状態においてバルクモードは抑制され、任意のバルク励起は必然的にヘリカルエッジ輸送モードに蓄積されることを示した。
論文 参考訳（メタデータ） (2025-07-23T07:56:03Z) - Exploiting hidden structures in non-convex games for convergence to Nash
equilibrium [62.88214569402201]
現代の機械学習アプリケーションは、非協調的なナッシュリリアとして定式化することができる。
決定論的環境と決定論的環境の両方に明確な収束保証を提供する。
論文 参考訳（メタデータ） (2023-12-27T15:21:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。