論文の概要: Scaling physics-informed hard constraints with mixture-of-experts
- arxiv url: http://arxiv.org/abs/2402.13412v1
- Date: Tue, 20 Feb 2024 22:45:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 17:42:38.552294
- Title: Scaling physics-informed hard constraints with mixture-of-experts
- Title（参考訳）: 実験の混合による物理インフォームドハード制約のスケーリング
- Authors: Nithin Chalapathi and Yiheng Du and Aditi Krishnapriyan
- Abstract要約: 我々は、Mixture-of-Experts (MoE) を用いて、ハード物理制約を強制するためのスケーラブルなアプローチを開発する。
MoEは小さなドメインに対する制約を課し、それぞれが微分可能な最適化によって"専門家"によって解決される。
標準的な微分可能最適化と比較して、我々のスケーラブルなアプローチは、ニューラルPDEソルバ設定においてより精度が高い。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Imposing known physical constraints, such as conservation laws, during neural
network training introduces an inductive bias that can improve accuracy,
reliability, convergence, and data efficiency for modeling physical dynamics.
While such constraints can be softly imposed via loss function penalties,
recent advancements in differentiable physics and optimization improve
performance by incorporating PDE-constrained optimization as individual layers
in neural networks. This enables a stricter adherence to physical constraints.
However, imposing hard constraints significantly increases computational and
memory costs, especially for complex dynamical systems. This is because it
requires solving an optimization problem over a large number of points in a
mesh, representing spatial and temporal discretizations, which greatly
increases the complexity of the constraint. To address this challenge, we
develop a scalable approach to enforce hard physical constraints using
Mixture-of-Experts (MoE), which can be used with any neural network
architecture. Our approach imposes the constraint over smaller decomposed
domains, each of which is solved by an "expert" through differentiable
optimization. During training, each expert independently performs a localized
backpropagation step by leveraging the implicit function theorem; the
independence of each expert allows for parallelization across multiple GPUs.
Compared to standard differentiable optimization, our scalable approach
achieves greater accuracy in the neural PDE solver setting for predicting the
dynamics of challenging non-linear systems. We also improve training stability
and require significantly less computation time during both training and
inference stages.
- Abstract（参考訳）: ニューラルネットワークトレーニング中に、保存則などの既知の物理的制約を課すことは、物理的ダイナミクスをモデル化するための正確性、信頼性、収束性、データ効率を改善する帰納的バイアスをもたらす。
このような制約は損失関数のペナルティによってソフトに課せられるが、近年の微分物理学の進歩と最適化は、PDE制約された最適化をニューラルネットワークの個々の層として組み込むことで性能を向上させる。
これにより、物理的な制約への厳密な固執が可能になる。
しかし、特に複雑な力学系では、厳しい制約を課すことで計算とメモリコストが大幅に増大する。
これは、メッシュ内の多くの点にわたって最適化問題を解く必要があるためであり、空間的および時間的離散化を表すため、制約の複雑さが大幅に増大する。
この課題に対処するために、あらゆるニューラルネットワークアーキテクチャで使用できるMixture-of-Experts(MoE)を使用して、ハード物理制約を強制するためのスケーラブルなアプローチを開発する。
提案手法では, より小さな分解領域に対する制約を, 微分可能な最適化によって「専門家」によって解決する。
トレーニング中、各専門家は暗黙の関数定理を利用して、独立に局所化されたバックプロパゲーションステップを実行する。
標準微分可能最適化と比較して, スケーラブルな手法は, 難解な非線形システムのダイナミクスを予測するために, ニューラルpdeソルバ設定において, 高い精度を達成する。
また、トレーニングの安定性も向上し、トレーニングと推論の段階で計算時間が大幅に短縮される。
関連論文リスト
- Text2PDE: Latent Diffusion Models for Accessible Physics Simulation [7.16525545814044]
物理シミュレーションに潜時拡散モデルを適用する方法をいくつか紹介する。
提案手法は、現在のニューラルPDEソルバと、精度と効率の両面で競合することを示す。
スケーラブルで正確で使用可能な物理シミュレータを導入することで、ニューラルPDEソルバを実用化に近づけたいと思っています。
論文 参考訳（メタデータ） (2024-10-02T01:09:47Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。
制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。
私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
論文 参考訳（メタデータ） (2023-06-15T08:33:52Z) - NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with
Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。
元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。
本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文 参考訳（メタデータ） (2023-02-20T19:36:52Z) - Physics-aware deep learning framework for linear elasticity [0.0]
本稿では,線形連続弾性問題に対する効率的で堅牢なデータ駆動型ディープラーニング(DL)計算フレームワークを提案する。
フィールド変数の正確な表現のために,多目的損失関数を提案する。
弾性に対するAirimaty解やKirchhoff-Loveプレート問題を含むいくつかのベンチマーク問題を解く。
論文 参考訳（メタデータ） (2023-02-19T20:33:32Z) - Learning differentiable solvers for systems with hard constraints [48.54197776363251]
ニューラルネットワーク(NN)によって定義される関数に対する偏微分方程式(PDE)制約を強制する実践的手法を提案する。
我々は、任意のNNアーキテクチャに組み込むことができる微分可能なPDE制約層を開発した。
その結果、NNアーキテクチャに直接ハード制約を組み込むことで、制約のない目的のトレーニングに比べてテストエラーがはるかに少ないことがわかった。
論文 参考訳（メタデータ） (2022-07-18T15:11:43Z) - Physics-constrained Unsupervised Learning of Partial Differential
Equations using Meshes [1.066048003460524]
グラフニューラルネットワークは、不規則にメッシュ化されたオブジェクトを正確に表現し、それらのダイナミクスを学ぶことを約束する。
本研究では、メッシュをグラフとして自然に表現し、グラフネットワークを用いてそれらを処理し、物理に基づく損失を定式化し、偏微分方程式(PDE)の教師なし学習フレームワークを提供する。
本フレームワークは, ソフトボディ変形のモデルベース制御など, PDEソルバをインタラクティブな設定に適用する。
論文 参考訳（メタデータ） (2022-03-30T19:22:56Z) - Neural Stochastic Dual Dynamic Programming [99.80617899593526]
我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。
$nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
論文 参考訳（メタデータ） (2021-12-01T22:55:23Z) - Physics and Equality Constrained Artificial Neural Networks: Application
to Partial Differential Equations [1.370633147306388]
偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。
本稿では,この目的関数の定式化方法が,PINNアプローチにおける厳密な制約の源であることを示す。
本稿では,逆問題と前方問題の両方に対処可能な多目的フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-30T05:55:35Z) - Scalable Differentiable Physics for Learning and Control [99.4302215142673]
微分物理学は、物理的対象や環境を含む問題を学習し、制御するための強力なアプローチである。
我々は、多数のオブジェクトとその相互作用をサポートすることができる微分可能物理学のためのスケーラブルなフレームワークを開発する。
論文 参考訳（メタデータ） (2020-07-04T19:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。