論文の概要: Improving the performance of Stein variational inference through extreme sparsification of physically-constrained neural network models
- arxiv url: http://arxiv.org/abs/2407.00761v1
- Date: Sun, 30 Jun 2024 16:50:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 01:37:22.729776
- Title: Improving the performance of Stein variational inference through extreme sparsification of physically-constrained neural network models
- Title（参考訳）: 物理的拘束型ニューラルネットワークモデルの極端スペーサー化によるスタイン変分推論の性能向上
- Authors: Govinda Anantha Padmanabha, Jan Niklas Fuhg, Cosmin Safta, Reese E. Jones, Nikolaos Bouklas,
- Abstract要約: スタイン変分勾配降下(L_$+SVGD)がより堅牢で効率的な不確実性の定量化手段であることを示す。
具体的には、$L_$+SVGDは、ノイズに対する優れたレジリエンス、外挿領域での良好な性能、最適解へのより高速な収束率を示す。
- 参考スコア（独自算出の注目度）: 0.815557531820863
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Most scientific machine learning (SciML) applications of neural networks involve hundreds to thousands of parameters, and hence, uncertainty quantification for such models is plagued by the curse of dimensionality. Using physical applications, we show that $L_0$ sparsification prior to Stein variational gradient descent ($L_0$+SVGD) is a more robust and efficient means of uncertainty quantification, in terms of computational cost and performance than the direct application of SGVD or projected SGVD methods. Specifically, $L_0$+SVGD demonstrates superior resilience to noise, the ability to perform well in extrapolated regions, and a faster convergence rate to an optimal solution.
- Abstract（参考訳）: ニューラルネットワークのほとんどの科学的機械学習(SciML)応用は数百から数千のパラメータを含むため、そのようなモデルの不確実性定量化は次元性の呪いに悩まされている。
物理応用を用いて、SGVD法や投影されたSGVD法を直接適用した場合よりも、SGVD法よりも、Stein変分勾配降下(L_0$+SVGD)がより堅牢で効率的な不確実性定量化手段であることが示される。
具体的には、$L_0$+SVGDは、ノイズに対する優れたレジリエンス、外挿領域での良好な性能、最適解へのより高速な収束率を示す。
関連論文リスト
- Fast Cell Library Characterization for Design Technology Co-Optimization Based on Graph Neural Networks [0.1752969190744922]
設計技術の共同最適化(DTCO)は、最適パワー、性能、領域を達成する上で重要な役割を果たす。
本稿では,高速かつ正確なセルライブラリ解析のためのグラフニューラルネットワーク(GNN)に基づく機械学習モデルを提案する。
論文 参考訳（メタデータ） (2023-12-20T06:10:27Z) - Stochastic Gradient Langevin Dynamics Based on Quantization with
Increasing Resolution [0.0]
非目的関数に対する量子化最適化に基づく代替的な降下学習方程式を提案する。
本稿では,バニラニューラル畳み込みニューラル(CNN)モデルにおける提案手法の有効性と各種データセット間のアーキテクチャについて述べる。
論文 参考訳（メタデータ） (2023-05-30T08:55:59Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with
Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。
元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。
本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文 参考訳（メタデータ） (2023-02-20T19:36:52Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Physics-enhanced deep surrogates for partial differential equations [30.731686639510517]
本稿では, 複雑な物理系のための高速サロゲートモデル開発に向けて, 物理強化ディープサロゲート(PEDS)アプローチを提案する。
具体的には,低忠実で説明可能な物理シミュレータとニューラルネットワークジェネレータの組み合わせを提案する。
論文 参考訳（メタデータ） (2021-11-10T18:43:18Z) - Differentially private training of neural networks with Langevin
dynamics forcalibrated predictive uncertainty [58.730520380312676]
その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。
これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
論文 参考訳（メタデータ） (2021-07-09T08:14:45Z) - Stabilizing Training of Generative Adversarial Nets via Langevin Stein
Variational Gradient Descent [11.329376606876101]
我々は,新しい粒子に基づく変分推論(LSVGD)によるGANトレーニングの安定化を提案する。
LSVGDのダイナミクスは暗黙の規則化を持ち、粒子の広がりと多様性を高めることができることを示す。
論文 参考訳（メタデータ） (2020-04-22T11:20:04Z) - Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。
我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-03-12T07:00:46Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。