論文の概要: Eradicating Negative Transfer in Multi-Physics Foundation Models via Sparse Mixture-of-Experts Routing
- arxiv url: http://arxiv.org/abs/2605.15179v1
- Date: Thu, 14 May 2026 17:58:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:35.008875
- Title: Eradicating Negative Transfer in Multi-Physics Foundation Models via Sparse Mixture-of-Experts Routing
- Title（参考訳）: Sparse Mixture-of-Experts Routingによる多分野基礎モデルの負転移の除去
- Authors: Ellwil Sharma, Arastu Sharma,
- Abstract要約: Shodh-MoEはマルチ物理輸送のためのスパース活性化潜在トランスフォーマーアーキテクチャである。
Top-1ルータは、ローカライズされた潜伏パッチをエキスパートワークに動的に割り当てる。
結果は、汎用神経オペレーターにおける多物理干渉を緩和するための実用的なアーキテクチャメカニズムとしてスパースエキスパートルーティングをサポートする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scaling Scientific Machine Learning (SciML) toward universal foundation models is bottlenecked by negative transfer: the simultaneous co-training of disparate partial differential equation (PDE) regimes can induce gradient conflict, unstable optimization, and plasticity loss in dense neural operators. In particular, broadband open-channel fluid dynamics and boundary-dominated porous media flows impose incompatible spectral and geometric demands on a single dense parameter path. We introduce Shodh-MoE, a sparse-activated latent transformer architecture for multi-physics transport. Shodh-MoE operates on compressed 16^3 physical latents produced by a physics-informed autoencoder with an intra-tokenizer Helmholtz-style velocity parameterization, restricting decoded states to divergence-free velocity manifolds. The model guarantees exact mass conservation, achieving a physically verifiable velocity divergence of ~2.8 x 10^-10 (evaluated post-hoc in FP64) on 128^3 grids. A Top-1 soft-semantic router dynamically assigns localized latent patches to expert subnetworks, enabling specialized parameter paths for distinct physical mechanisms while preserving shared experts for universal symmetries. In a 20,000-step distributed pretraining run over mixed three-dimensional physical tensors, routing telemetry shows autonomous domain bifurcation: held-out validation tokens from the open-channel domain route exclusively to Expert 0, while porous-media tokens route exclusively to Expert 1. The model converges simultaneously across both regimes, achieving latent validation MSEs of 2.46 x 10^-5 and 9.76 x 10^-6, and decoded physical MSEs of 2.48 x 10^-6 and 1.76 x 10^-6. These results support sparse expert routing as a practical architectural mechanism for mitigating multi-physics interference in universal neural operators.
- Abstract（参考訳）: 分散偏微分方程式(PDE)の同時同時学習は、高密度ニューラルネットワークにおける勾配競合、不安定な最適化、可塑性損失を誘発する。
特に、ブロードバンド開水路の流体力学と境界に支配される多孔質媒質流は、単一の密度パラメータパスに対して不整合スペクトルおよび幾何学的要求を課す。
マルチ物理輸送のためのスパース活性化潜在変圧器アーキテクチャであるShodh-MoEを紹介する。
Shodh-MoEは、物理インフォームドオートエンコーダが生成する16^3の圧縮された物理潜水器とヘルムホルツ式速度パラメータ化を演算し、デコードされた状態を分岐のない速度多様体に制限する。
このモデルは正確な質量保存を保証し、128^3格子上の ~2.8 x 10^-10 (FP64で評価されたポストホック) の物理的に検証可能な速度のばらつきを達成する。
Top-1ソフトセマンティックルータは、ローカライズされた潜伏パッチを専門家のサブネットに動的に割り当て、共通対称性の共有専門家を保護しながら、異なる物理機構のための特別なパラメータパスを可能にする。
混合3次元物理テンソル上での2万ステップの分散事前トレーニングでは、ルーティングテレメトリが自律的なドメイン分岐を示す。
2.46 x 10^-5 と 9.76 x 10^-6 の潜時検証 MSE を達成し、2.48 x 10^-6 と 1.76 x 10^-6 の物理 MSE を復号する。
これらの結果は、ユニバーシティ・ニューラル・オペレーターにおける多物理干渉を緩和するための実用的なアーキテクチャメカニズムとしてスパース・エキスパート・ルーティングを支援する。
関連論文リスト
- Manifold-Orthogonal Dual-spectrum Extrapolation for Parameterized Physics-Informed Neural Networks [5.601252185916962]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)によって支配される力学系のモデリングにおいて顕著な成功を収めた。
物理演算子適応のための軽量マイクロアーキテクチャであるManifold-Orthogonal Dual-spectrum Extrapolation (MODE)を提案する。
論文 参考訳（メタデータ） (2026-03-14T04:52:50Z) - Agentic Exploration of PDE Spaces using Latent Foundation Models for Parameterized Simulations [5.931951549967812]
偏微分方程式(PDE)によって支配される流れやより広い物理現象は、本質的に連続であり、高次元であり、しばしばカオスである。
伝統的に、研究者はこれらの豊富なPDE解空間を実験室実験や計算に高価な数値シミュレーションを用いて探索してきた。
本研究は,フローフィールドの明示的,コンパクトかつ不整合な潜在表現を学習するパラメトリドシミュレーション上の生成モデルLFMと多エージェントLPMを結合することにより,この問題に対処する。
論文 参考訳（メタデータ） (2026-02-26T20:39:45Z) - Structure-Informed Estimation for Pilot-Limited MIMO Channels via Tensor Decomposition [51.56484100374058]
本稿では、スパース観測から低ランクテンソル完備化としてパイロットリミテッドチャネル推定を定式化する。
合成チャネル実験による最小二乗平均二乗誤差(NMSE)の最小二乗平均誤差(LS)に対する改善
DeepMIMO線トレーシングチャネルの評価では、純粋なテンソル法よりも24-44%NMSEが減少している。
論文 参考訳（メタデータ） (2026-02-03T23:38:05Z) - PhyG-MoE: A Physics-Guided Mixture-of-Experts Framework for Energy-Efficient GNSS Interference Recognition [49.955269674859004]
本稿では,PhyG-MoE(Physics-Guided Mixture-of-Experts)について述べる。
静的アーキテクチャとは異なり、提案システムはスペクトル特性の絡み合いに基づいて信号をルーティングするスペクトルベースのゲーティング機構を用いる。
高容量のTransNeXtエキスパートがオンデマンドでアクティベートされ、飽和シナリオで複雑な機能を分離する一方、軽量のエキスパートは基本的なシグナルを処理してレイテンシを最小化する。
論文 参考訳（メタデータ） (2026-01-19T07:57:52Z) - SKANet: A Cognitive Dual-Stream Framework with Adaptive Modality Fusion for Robust Compound GNSS Interference Classification [47.20483076887704]
グローバルナビゲーション衛星システム(GNSS)は、洗練された妨害による脅威の増大に直面している。
時間周波数画像(TFI)とパワースペクトル密度(PSD)を統合した2重ストリームアーキテクチャに基づく認知的ディープラーニングフレームワークを提案する。
SKANetは96.99%の精度を達成し、複合妨害分類において優れたロバスト性を示した。
論文 参考訳（メタデータ） (2026-01-19T07:42:45Z) - 1d-qt-ideal-solver: 1D Idealized Quantum Tunneling Solver with Absorbing Boundaries [0.0]
1d-qt-ideal-solverは、量子トンネル力学をシミュレートするオープンソースのPythonライブラリである。
Numbaのジャスト・イン・タイムコンパイルはコンパイル言語に匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-12-27T16:13:44Z) - Rapid ground state energy estimation with a Sparse Pauli Dynamics-enabled Variational Double Bracket Flow [0.0]
強相関量子系の基底状態エネルギー推定は計算物理学における中心的な課題である。
本稿では,スパース・パウリ・ダイナミクスを利用して基底状態エネルギーを効率的に近似する2重ブラケット流アルゴリズムを提案する。
10x10ハイゼンベルク格子(100 qubits)の場合、vDBFは1つのCPUスレッドで約10分、DMRGでは64スレッドで50時間以上、正確な結果が得られる。
論文 参考訳（メタデータ） (2025-11-26T18:22:13Z) - PHASE-Net: Physics-Grounded Harmonic Attention System for Efficient Remote Photoplethysmography Measurement [63.007237197267834]
既存のディープラーニング手法は、主に生理学的モニタリングであり、理論的な堅牢性を欠いている。
本研究では,Navier-Stokes方程式のヘモダイナミックスから導かれる物理インフォームド r パラダイムを提案し,パルス信号が2次系に従うことを示す。
これは、時間的円錐ネットワーク(TCN)を使用する理論的正当性を提供する。
Phase-Netは高い効率で最先端のパフォーマンスを実現し、理論上は基礎的でデプロイ可能な r ソリューションを提供する。
論文 参考訳（メタデータ） (2025-09-29T14:36:45Z) - Artificial Intelligence for Direct Prediction of Molecular Dynamics Across Chemical Space [0.0]
分子動力学(MD)は原子系の挙動を探索する強力なツールであるが、逐次的な数値積分によるシミュレーションの効率化に依存している。
本稿では,新しいニューラルネットワークアーキテクチャMDtrajNetと,事前学習した基礎モデルMDtrajNet-1を提案する。
MDtrajNetは化学空間をまたいだMD軌道を直接生成し、力計算と積分をバイパスする。
論文 参考訳（メタデータ） (2025-05-22T06:56:19Z) - RadioDiff-$k^2$: Helmholtz Equation Informed Generative Diffusion Model for Multi-Path Aware Radio Map Construction [76.24833675757033]
物理インフォームド・ジェネレーティブ・ラーニング・アプローチであるRadioDiff-$k2$を提案する。
提案するRadioDiff-$k2$フレームワークは,画像レベルのRM構成とローカライズタスクの両方において,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2025-04-22T06:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。