Fugu-MT 論文翻訳(概要): SPEAR: A Spectral-Disentangled MoE Neural Operator with Knowledge-Guided Expert Aggregation for Large-Scale PDE Pretraining

論文の概要: SPEAR: A Spectral-Disentangled MoE Neural Operator with Knowledge-Guided Expert Aggregation for Large-Scale PDE Pretraining

arxiv url: http://arxiv.org/abs/2610.03265v1
Date: Fri, 02 Oct 2026 13:10:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-06 00:14:30.387801
Title: SPEAR: A Spectral-Disentangled MoE Neural Operator with Knowledge-Guided Expert Aggregation for Large-Scale PDE Pretraining
Title（参考訳）: SPEAR:大規模PDE事前学習のための知識誘導型エキスパートアグリゲーションを備えたスペクトル距離MOEニューラル演算子
Abstract要約: SPEARは、知識誘導の専門家アグリゲーションを備えたスペクトル異方性MoEニューラル演算子である。 SPEARは遅延機能を低周波成分と高周波成分に分離し、転送可能なダイナミクスの共有モデリングを可能にする。我々のアグリゲーション戦略は、予測精度を維持したり改善したりしながら、専門家の数を50%削減します。
参考スコア（独自算出の注目度）: 18.137282295772525
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large-scale pre-training has improved the generalization of neural operators across diverse PDEs. However, existing PDE foundation models still struggle with heterogeneous dynamics, where shared representations may cause knowledge interference, while mixture-of-experts (MoE) architectures suffer from increasing expert redundancy. We propose SPEAR, a spectral-disentangled MoE neural operator with knowledge-guided expert aggregation for large-scale PDE pre-training. SPEAR decouples latent features into low- and high-frequency components, enabling shared modeling of transferable dynamics and specialized learning of PDE-specific patterns. To address expert redundancy, we design a knowledge-guided expert aggregation strategy that measures expert similarity from dataset-specific learned knowledge and routing preferences, enabling the identification and consolidation of similar experts. Experiments on twelve PDE datasets and multiple downstream benchmarks demonstrate superior performance in pre-training, fine-tuning, and transfer learning. Furthermore, our aggregation strategy reduces the number of experts by 50\% while maintaining or improving prediction accuracy, achieving a balance between model efficiency and generalization for PDE foundation models.
Abstract（参考訳）: 大規模プレトレーニングにより、多種多様なPDEにわたるニューラル演算子の一般化が改善された。しかしながら、既存のPDEファウンデーションモデルは、共有表現が知識干渉を引き起こす可能性がある異種力学と、専門家の冗長性の増大に悩まされているMix-of-experts (MoE)アーキテクチャと、いまだに苦戦している。大規模PDE事前学習のための知識誘導型エキスパートアグリゲーションを備えたスペクトル異方性MoEニューラル演算子SPEARを提案する。 SPEARは遅延特徴を低周波成分と高周波成分に分解し、伝達可能なダイナミクスの共有モデリングとPDE固有のパターンの特化学習を可能にする。専門家の冗長性に対処するために、データセット固有の学習知識とルーティングの好みから専門家の類似度を測定する知識誘導型エキスパートアグリゲーション戦略を設計し、類似した専門家の識別と統合を可能にする。 12のPDEデータセットと複数のダウンストリームベンチマークの実験は、事前トレーニング、微調整、転送学習において優れたパフォーマンスを示している。さらに,PDE基礎モデルのモデル効率と一般化のバランスを保ちながら,予測精度を向上しながら,専門家の数を50%削減した。

関連論文リスト

Redundancy Meets Synergy: Dependency-aware Expert Selection for MoE via Submodular Optimization [61.27524718261322]
そこで我々は,DS-MoEを提案する。DS-MoEは,サブモジュールの差分最適化により,専門家の選択をナビゲートする理論的基盤を持つフレームワークである。 DS-MoEは必須のエキスパートの組み合わせを効果的に保存し,最先端のベースラインよりも優れた性能が得られることを示す。
論文参考訳（メタデータ） (2026-09-30T18:33:27Z)
TENP: Trapezoidal Expert Neuron Pruning For Mixture-of-Experts [57.78282303757474]
TENP(Structured Trapezoidal ExpertNeuron Pruning framework)を提案する。我々は、重要な専門家を特定し、保持するとともに、重要でない専門家に専門家ニューロンプルーニング(ENP)を適用します。 ENPでは、各ニューロンのプロジェクターのプロジェクター出力に対する寄与を測定し、重要なニューロンを特定し、保持する。
論文参考訳（メタデータ） (2026-06-03T07:49:31Z)
Expert Divergence Learning for MoE-based Language Models [21.857507958048696]
本稿では,専門家間の機能的専門化を明確に促進する,新しい事前学習戦略であるExpert Divergence Learningを紹介する。本手法は,事前学習コーパスに固有のドメインラベルを活用するラベル駆動補助損失を組み込む。我々は,最大150億パラメータのMoEモデルをスクラッチから事前学習することで,我々のアプローチを検証する。
論文参考訳（メタデータ） (2026-02-10T06:58:38Z)
Enhancing CTR Prediction with De-correlated Expert Networks [45.50697497028273]
本稿では,専門的相関を最小化するクロスエキスパートデコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレーショナル・デコレー我々はD-MoEがMulti-Embedding MoEベースラインと比較して1.19%のGross Merchandise Volume (GMV)リフトを達成することを示す。
論文参考訳（メタデータ） (2025-05-23T14:04:38Z)
Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
論文参考訳（メタデータ） (2025-03-05T06:11:24Z)
Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
論文参考訳（メタデータ） (2024-03-26T05:48:02Z)
HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts [25.504602853436047]
言語モデルのMixture of Experts (MoE)は、各入力トークンを特定の専門家のサブセットに動的にルーティングすることで、モデルのキャパシティを増大させる効果が証明されている。我々はHypernetworks上に構築された新しいMoEフレームワークであるHyperMoEを提案する。このフレームワークは、マルチタスク学習における知識伝達の概念とMoEの計算処理を統合する。
論文参考訳（メタデータ） (2024-02-20T02:09:55Z)
Enhancing Molecular Property Prediction via Mixture of Collaborative Experts [23.388085838279405]
本稿では,MPPにおけるデータ不足と不均衡に対処するGNN-MoCEアーキテクチャを提案する。また、Mixture of Collaborative Experts (MoCE) を予測器として採用し、タスクの共通性を活用している。提案モデルは,24MPPデータセットにおける従来の手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2023-12-06T05:02:10Z)
MoEC: Mixture of Expert Clusters [93.63738535295866]
Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
論文参考訳（メタデータ） (2022-07-19T06:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。