論文の概要: Coupling parameter and particle dynamics for adaptive sampling in Neural Galerkin schemes

• arxiv url: http://arxiv.org/abs/2306.15630v1
• Date: Tue, 27 Jun 2023 17:12:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 12:33:21.460744
• Title: Coupling parameter and particle dynamics for adaptive sampling in Neural Galerkin schemes
• Title（参考訳）: ニューラルガレルキンスキームにおける適応サンプリングのための結合パラメータと粒子動力学
• Authors: Yuxiao Wen and Eric Vanden-Eijnden and Benjamin Peherstorfer
• Abstract要約: この研究は、適応分布のデータを用いてトレーニング損失を推定するニューラル・ガレルキンスキームを導入している。 実験の結果, トレーニング損失の正確な推定値を得るためには, 動的粒子が少ないことが示唆された。
• 参考スコア（独自算出の注目度）: 9.328991021103294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training nonlinear parametrizations such as deep neural networks to numerically approximate solutions of partial differential equations is often based on minimizing a loss that includes the residual, which is analytically available in limited settings only. At the same time, empirically estimating the training loss is challenging because residuals and related quantities can have high variance, especially for transport-dominated and high-dimensional problems that exhibit local features such as waves and coherent structures. Thus, estimators based on data samples from un-informed, uniform distributions are inefficient. This work introduces Neural Galerkin schemes that estimate the training loss with data from adaptive distributions, which are empirically represented via ensembles of particles. The ensembles are actively adapted by evolving the particles with dynamics coupled to the nonlinear parametrizations of the solution fields so that the ensembles remain informative for estimating the training loss. Numerical experiments indicate that few dynamic particles are sufficient for obtaining accurate empirical estimates of the training loss, even for problems with local features and with high-dimensional spatial domains.
• Abstract（参考訳）: 偏微分方程式の数値近似解へのディープニューラルネットワークのような非線形パラメトリゼーションの訓練は、解析的に限られた設定でのみ使用可能な残差を含む損失を最小化することに基づいていることが多い。 同時に、特に波動やコヒーレント構造などの局所的な特徴を示す輸送支配的・高次元問題に対して、残留物や関連量の分散が大きいため、訓練損失を経験的に推定することは困難である。 したがって、不均一分布からのデータサンプルに基づく推定器は非効率である。 本研究は,粒子のアンサンブルによって経験的に表現される適応分布から,トレーニング損失を推定するニューラルガレルキンスキームを導入する。 アンサンブルは、解場の非線形パラメトリゼーションと結合した動力学を持つ粒子を進化させ、アンサンブルがトレーニング損失の推定に役立ち続けるように積極的に適応する。 数値実験により,局所的特徴や高次元空間領域の問題においても,トレーニング損失の正確な推定値を得るには,動的粒子が少ないことが示唆された。

関連論文リスト

• A hybrid FEM-PINN method for time-dependent partial differential equations [9.631238071993282]
  本稿では、時間有限要素法とディープニューラルネットワークを融合させることにより、進化微分方程式(PDE)を解くためのハイブリッド数値計算法を提案する。 このようなハイブリッドな定式化の利点は2つある: 統計誤差は時間方向の積分に対して回避され、ニューラルネットワークの出力は縮小された空間基底関数の集合と見なすことができる。
  論文  参考訳（メタデータ） (2024-09-04T15:28:25Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Deep learning for full-field ultrasonic characterization [7.120879473925905]
  本研究では、最近の機械学習の進歩を活用して、物理に基づくデータ分析プラットフォームを構築する。 直接反転と物理インフォームドニューラルネットワーク(PINN)の2つの論理について検討した。
  論文  参考訳（メタデータ） (2023-01-06T05:01:05Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• A Causality-Based Learning Approach for Discovering the Underlying Dynamics of Complex Systems from Partial Observations with Stochastic Parameterization [1.2882319878552302]
  本稿では,部分的な観測を伴う複雑な乱流系の反復学習アルゴリズムを提案する。 モデル構造を識別し、観測されていない変数を復元し、パラメータを推定する。 数値実験により、新しいアルゴリズムはモデル構造を同定し、多くの複雑な非線形系に対して適切なパラメータ化を提供することに成功した。
  論文  参考訳（メタデータ） (2022-08-19T00:35:03Z)
• DAS: A deep adaptive sampling method for solving partial differential equations [2.934397685379054]
  偏微分方程式(PDE)を解くための深層適応サンプリング法(DAS)を提案する。 深部ニューラルネットワークを用いてPDEの解を近似し、深部生成モデルを用いてトレーニングセットを洗練させる新しいコロケーションポイントを生成する。 そこで本研究では,DAS法が誤差境界を低減し,数値実験によりその有効性を実証できることを示す理論的解析を行った。
  論文  参考訳（メタデータ） (2021-12-28T08:37:47Z)
• Efficient training of physics-informed neural networks via importance sampling [2.9005223064604078]
  Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。 重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
  論文  参考訳（メタデータ） (2021-04-26T02:45:10Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。