Fugu-MT 論文翻訳(概要): Training neural networks under physical constraints using a stochastic augmented Lagrangian approach

論文の概要: Training neural networks under physical constraints using a stochastic augmented Lagrangian approach

arxiv url: http://arxiv.org/abs/2009.07330v1
Date: Tue, 15 Sep 2020 19:20:29 GMT
ステータス: 処理完了
システム内更新日: 2022-10-18 05:56:52.026932
Title: Training neural networks under physical constraints using a stochastic augmented Lagrangian approach
Title（参考訳）: 確率的拡張ラグランジアンアプローチによる物理的制約下でのニューラルネットワークのトレーニング
Authors: Alp Dener, Marco Andres Miller, Randy Michael Churchill, Todd Munson, Choong-Seock Chang
Abstract要約: XGCにおける5次元核融合シミュレーションにおいて,Fokker-Planck-Landau衝突演算子を近似するためのエンコーダ・デコーダニューラルネットワークの物理制約付きトレーニングについて検討した。このネットワークをトレーニングするために、pyTorchのネイティブ勾配降下法を用いて、内部制約のない最小化サブプロブレムを解く拡張ラグランジアンアプローチを提案する。電子に対する自己衝突と衝突を伴う単一イオン症例のトレーニング結果から, 提案手法により, 固定ペナルティ法によるトレーニングよりもモデル予測精度が向上することが示唆された。
参考スコア（独自算出の注目度）: 0.09786690381850353
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We investigate the physics-constrained training of an encoder-decoder neural network for approximating the Fokker-Planck-Landau collision operator in the 5-dimensional kinetic fusion simulation in XGC. To train this network, we propose a stochastic augmented Lagrangian approach that utilizes pyTorch's native stochastic gradient descent method to solve the inner unconstrained minimization subproblem, paired with a heuristic update for the penalty factor and Lagrange multipliers in the outer augmented Lagrangian loop. Our training results for a single ion species case, with self-collisions and collision against electrons, show that the proposed stochastic augmented Lagrangian approach can achieve higher model prediction accuracy than training with a fixed penalty method for our application problem, with the accuracy high enough for practical applications in kinetic simulations.
Abstract（参考訳）: XGCにおける5次元運動核融合シミュレーションにおいて,Fokker-Planck-Landau衝突作用素を近似するためのエンコーダ・デコーダニューラルネットワークの物理制約付きトレーニングについて検討した。このネットワークを訓練するために,pytorchの固有確率勾配降下法を応用して,外部拡張ラグランジアンループにおけるペナルティ係数とラグランジ乗算値のヒューリスティックな更新と組み合わせて,内部制約のない最小化部分問題を解く確率的拡張ラグランジアン手法を提案する。自己結合と電子との衝突を伴う単一イオン種の場合の訓練結果から,提案する確率的拡張ラグランジアンアプローチは,応用問題に対する一定のペナルティ法による訓練よりも高いモデル予測精度を達成でき,シミュレーションの実用的応用に十分な精度が得られた。

関連論文リスト

Non-asymptotic convergence analysis of the stochastic gradient Hamiltonian Monte Carlo algorithm with discontinuous stochastic gradient with applications to training of ReLU neural networks [8.058385158111207]
我々は、勾配ハミルトニアンモンテカルロのWasserstein-1 と Wasserstein-2 距離の目標測度への収束の非漸近解析を提供する。本研究の主な成果を説明するために、定量推定に関する数値実験と、金融と人工知能に関連するReLUニューラルネットワークに関わるいくつかの問題について考察する。
論文参考訳（メタデータ） (2024-09-25T17:21:09Z)
Gradient Flow Based Phase-Field Modeling Using Separable Neural Networks [1.2277343096128712]
勾配流問題の解法として, 位相場の分離可能なニューラルネットワークによる近似を最小化運動方式で提案する。提案手法は相分離問題に対する最先端の機械学習手法よりも優れている。
論文参考訳（メタデータ） (2024-05-09T21:53:27Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Enhancing Low-Order Discontinuous Galerkin Methods with Neural Ordinary Differential Equations for Compressible Navier--Stokes Equations [0.18648070031379424]
計算コストを削減するために、サブグリッドスケールモデルで低忠実度モデルを実行するのが一般的である。ニューラル常微分演算子によって拡張された偏微分方程式をシミュレートする際のサブグリッドスケールモデル効果の学習法を提案する。提案手法は,低次DGソルバの欠落スケールを連続的に学習し,低次DG近似の精度を向上させる。
論文参考訳（メタデータ） (2023-10-29T04:26:23Z)
Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文参考訳（メタデータ） (2023-06-06T19:02:57Z)
Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文参考訳（メタデータ） (2023-05-28T06:33:37Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2022-12-19T14:48:54Z)
Embedded training of neural-network sub-grid-scale turbulence models [0.0]
ディープニューラルネットワークモデルの重みは、制御フロー方程式と共に最適化され、サブグリッドスケールの応力のモデルを提供する。トレーニングは勾配降下法で行われ、随伴ナビエ-ストークス方程式を用いてモデル重みのエンドツーエンドの感度を速度場に与える。
論文参考訳（メタデータ） (2021-05-03T17:28:39Z)
A Contour Stochastic Gradient Langevin Dynamics Algorithm for Simulations of Multi-modal Distributions [17.14287157979558]
ビッグデータ統計学の学習のための適応重み付き勾配ランゲヴィン力学(SGLD)を提案する。提案アルゴリズムは、CIFAR100を含むベンチマークデータセットで検証される。
論文参考訳（メタデータ） (2020-10-19T19:20:47Z)
Learning to Optimize Non-Rigid Tracking [54.94145312763044]
我々は、堅牢性を改善し、解法収束を高速化するために学習可能な最適化を採用する。まず、CNNを通じてエンドツーエンドに学習された深い特徴にアライメントデータ項を統合することにより、追跡対象をアップグレードする。次に,プレコンディショニング手法と学習手法のギャップを,プレコンディショナを生成するためにトレーニングされたConditionNetを導入することで埋める。
論文参考訳（メタデータ） (2020-03-27T04:40:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。