論文の概要: Latent-MoE: Domain-Aware Mixture-of-Experts for PDEs with Multi-Regime Physics
- arxiv url: http://arxiv.org/abs/2609.07814v1
- Date: Mon, 07 Sep 2026 17:52:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.495132
- Title: Latent-MoE: Domain-Aware Mixture-of-Experts for PDEs with Multi-Regime Physics
- Title（参考訳）: Latent-MoE:マルチレジーム物理を用いたPDEのためのドメイン・アウェア・ミックス・オブ・エクササイズ
- Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は、制御物理が領域によって異なるPDEに苦しむ。
解析的および実験的に、中央にコンパクトなルータを持つMEアーキテクチャが一様バンド化されたNTKが得られることを示す。
本稿では,共有バックボーン内のドメイン認識型MoEブロックをインターリーブするemphLatent-MoEを提案する。
- 参考スコア（独自算出の注目度）: 9.606679935412489
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physics-informed neural networks (PINNs) struggle on PDEs whose governing physics varies across the domain. We trace this to a structural property of standard coordinate networks: their neural tangent kernel (NTK) is translation-variant and lets training points of large coordinate magnitude disproportionately influence predictions elsewhere, producing long-range coupling and gradient conflict during training. We show analytically and empirically that mixture-of-experts (MoE) architectures with centered, compact-support routers yield a uniformly banded NTK whose kernel-regression weights decay exponentially with distance, localizing the learning. Building on this, we propose \emph{Latent-MoE}, which interleaves domain-aware MoE blocks within a shared backbone. Unlike FB-PINNs or X-PINNs, which rigidly partition both the domain and the parameters so that the parameters on different subdomains are updated independently, Latent-MoE is designed to preserve the localization benefit of domain-aware routing while allowing capacity to flow across regions through the shared backbone. On standard homogeneous-physics benchmarks Latent-MoE is competitive with established baselines; on benchmarks with multi-stage time-variable physics, where global models and rigid domain decompositions both fall into spurious solutions, it improves over them by more than an order of magnitude, with markedly reduced gradient conflict during training.
- Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、制御物理が領域によって異なるPDEに苦しむ。
ニューラル・タンジェント・カーネル(NTK)は翻訳変種であり、大きな座標の大きさのトレーニングポイントが他の場所で不均等に予測に影響を与え、訓練中に長距離の結合と勾配の衝突を引き起こす。
解析的および実証的に、中央にコンパクトなルータを備えたMoEアーキテクチャは、カーネル回帰重みが指数関数的に減少するNTKを均一にバンド化し、学習をローカライズすることを示した。
これに基づいて,共有バックボーン内のドメイン認識型MoEブロックをインターリーブする \emph{Latent-MoE} を提案する。
FB-PINNやX-PINNとは異なり、異なるサブドメイン上のパラメータが独立して更新されるようにドメインとパラメータを厳密に分割する。
標準ホモジニアス物理ベンチマークでは、Latent-MoEは確立されたベースラインと競合する; 多段階の時間変数の物理のベンチマークでは、グローバルモデルと剛性ドメインの分解の両方が急激な解に分解される。
関連論文リスト
- Modularity-Free Conflict-Averse Training for Generalized PINNs [46.12829178558227]
物理インフォームドニューラルネットワーク(PINN)はPDEを解くための強力なフレームワークとなっている。
モデルキャパシティの増大に伴い, PINNの訓練効果は低下し, 脆弱なままであることを示す。
本稿では,構造最適化とコンフリクト・アバーストレーニングを統合したModSync(Modular-Sparsity Synchronization)を提案する。
論文 参考訳（メタデータ） (2026-06-18T12:20:29Z) - HAMNO: A Hierarchical Adaptive Multi-scale Neural Operator with Physics-Informed Learning for Dynamical Systems [0.0]
HAMNOは、局所的な畳み込み表現、大域的なスペクトル演算子、階層エンコーダ・デコーダ処理を組み合わせたニューラルネットワークアーキテクチャである。
PI-HAMNO(PI-HAMNO)は、強い物理制約と弱い物理制約を組み合わせた物理インフォーム拡張である。
このフレームワークは、立方体領域上で定義された非周期的アレン・カーン(AC)、カーン・ヒリアード(CH)、スウィフト・ホヘンベルク(SH)方程式に基づいて評価される。
論文 参考訳（メタデータ） (2026-06-10T11:42:34Z) - Bi-level Heterogeneous Learning for Time Series Foundation Models: A Federated Learning Approach [39.76134852465009]
時系列データの異種性は、視覚や言語よりも顕著である。
スクラッチから時系列基礎モデル(TSFM)を訓練するための既存の取り組みは、しばしば混合バッチ戦略で訓練される。
異種系列から不変知識を抽出する微粒な学習法を提案する。
論文 参考訳（メタデータ） (2026-04-08T06:50:37Z) - Forked Physics Informed Neural Networks for Coupled Systems of Differential equations [1.7158443622461192]
微分方程式(DE)の結合系のための分岐PINNフレームワークを提案する。
結合Dsにより制御される非マルコフ開量子力学のシミュレーションにおけるFPINNの有効性を実証する。
スピンボソンモデルとXXZモデルでは、FPINNは量子コヒーレンス復元や情報バックフローのようなマルコフでない特徴を正確に捉えている。
論文 参考訳（メタデータ） (2026-02-16T08:32:59Z) - Advancing Generalization in PINNs through Latent-Space Representations [71.86401914779019]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)によって支配される力学系のモデリングにおいて大きな進歩を遂げた。
本稿では,多種多様なPDE構成を効果的に一般化する物理インフォームドニューラルPDE解法PIDOを提案する。
PIDOは1次元合成方程式と2次元ナビエ・ストークス方程式を含む様々なベンチマークで検証する。
論文 参考訳（メタデータ） (2024-11-28T13:16:20Z) - SetPINNs: Set-based Physics-informed Neural Networks [31.193471532024407]
ローカル依存関係を効果的にキャプチャするフレームワークであるSetPINNを紹介する。
ドメインを集合に分割して、物理法則を同時に適用しながら、局所的な依存関係をモデル化します。
合成および実世界のタスクの実験では、精度、効率、堅牢性が改善された。
論文 参考訳（メタデータ） (2024-09-30T11:41:58Z) - Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。
SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。
マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
論文 参考訳（メタデータ） (2024-07-01T09:45:22Z) - StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。
最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。
データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
論文 参考訳（メタデータ） (2024-06-01T02:41:34Z) - Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural
Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。
PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。
PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文 参考訳（メタデータ） (2022-10-14T15:01:32Z) - FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for
Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。
本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。
これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文 参考訳（メタデータ） (2022-05-19T03:32:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。