論文の概要: Probing optimisation in physics-informed neural networks
- arxiv url: http://arxiv.org/abs/2303.15196v1
- Date: Mon, 27 Mar 2023 13:35:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 15:12:24.255688
- Title: Probing optimisation in physics-informed neural networks
- Title(参考訳): 物理インフォームドニューラルネットワークにおける探索最適化
- Authors: Nayara Fonseca, Veronica Guidetti, Will Trojak
- Abstract要約: トレーニング軌道の曲率を追跡する新しい手法が提案され、低計算コストでフライで評価できる。
このオプティマイザ選択がPINNのモデル性能と精度に大きく影響することを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A novel comparison is presented of the effect of optimiser choice on the
accuracy of physics-informed neural networks (PINNs). To give insight into why
some optimisers are better, a new approach is proposed that tracks the training
trajectory curvature and can be evaluated on the fly at a low computational
cost. The linear advection equation is studied for several advective
velocities, and we show that the optimiser choice substantially impacts PINNs
model performance and accuracy. Furthermore, using the curvature measure, we
found a negative correlation between the convergence error and the curvature in
the optimiser local reference frame. It is concluded that, in this case, larger
local curvature values result in better solutions. Consequently, optimisation
of PINNs is made more difficult as minima are in highly curved regions.
- Abstract(参考訳): 物理インフォームドニューラルネットワーク(PINN)の精度に対するオプティマイザ選択の効果について,新しい比較を行った。
一部のオプティマイザが優れている理由を知るために、訓練軌道曲率を追跡し、低計算コストでフライで評価できる新しいアプローチが提案されている。
線形随伴方程式は,いくつかの随伴速度について検討し,オプティマイザーの選択がピンズモデルの性能と精度に大きく影響することを示した。
さらに, 曲率尺度を用いて, 収束誤差とオプティマイザー局所参照フレームの曲率との間に負の相関が認められた。
この場合、より大きい局所曲率値はより良い解をもたらすと結論づけられた。
その結果, PINNの最適化は, ミニマが高度に湾曲しているため困難である。
関連論文リスト
- Learning solutions of parametric Navier-Stokes with physics-informed
neural networks [0.3989223013441816]
パラメトリックナビエ・ストークス方程式(NSE)の解関数の学習にPIN(Palformed-Informed Neural Networks)を利用する。
パラメータのパラメータを座標とともにPINの入力とみなし、パラメータのインスタンスに対するパラメトリックPDESの数値解に基づいてPINを訓練する。
提案手法は, 解関数を学習するPINNモデルを最適化し, 流量予測が質量・運動量の保存則と一致していることを確認する。
論文 参考訳(メタデータ) (2024-02-05T16:19:53Z) - Dynamically configured physics-informed neural network in topology
optimization applications [4.403140515138818]
物理インフォームドニューラルネットワーク(PINN)は、前方問題を解決する際に大量のデータを生成するのを避けることができる。
動的に構成された PINN-based Topology Optimization (DCPINN-TO) 法を提案する。
変位予測と最適化結果の精度は,DCPINN-TO法が効率的かつ効率的であることを示している。
論文 参考訳(メタデータ) (2023-12-12T05:35:30Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - DEBOSH: Deep Bayesian Shape Optimization [48.80431740983095]
形状最適化に適した不確実性に基づく新しい手法を提案する。
効果的なBOを可能にし、その結果の形状の質を最先端のアプローチを超えて向上させる。
論文 参考訳(メタデータ) (2021-09-28T11:01:42Z) - Fast Rates for Contextual Linear Optimization [52.39202699484225]
提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。
予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
論文 参考訳(メタデータ) (2020-11-05T18:43:59Z) - A Dynamical View on Optimization Algorithms of Overparameterized Neural
Networks [23.038631072178735]
我々は、一般的に使用される最適化アルゴリズムの幅広いクラスについて考察する。
その結果、ニューラルネットワークの収束挙動を利用することができる。
このアプローチは他の最適化アルゴリズムやネットワーク理論にも拡張できると考えています。
論文 参考訳(メタデータ) (2020-10-25T17:10:22Z) - BAMSProd: A Step towards Generalizing the Adaptive Optimization Methods
to Deep Binary Model [34.093978443640616]
最近のBNN(Binary Neural Networks)の性能は大幅に低下している。
BNNの効果的かつ効率的なトレーニングを保証することは未解決の問題である。
そこで本研究では,BAMSProdアルゴリズムを用いて,深部二元モデルの収束特性が量子化誤差と強く関連していることを示す。
論文 参考訳(メタデータ) (2020-09-29T06:12:32Z) - Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。
本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
論文 参考訳(メタデータ) (2020-09-05T02:25:23Z) - Persistent Neurons [4.061135251278187]
本稿では,学習課題を最適化するトラジェクトリベースの戦略を提案する。
永続ニューロンは、決定論的誤差項によって個々の更新が破損する勾配情報バイアスを持つ方法とみなすことができる。
完全かつ部分的なパーシステンスモデルの評価を行い、NN構造における性能向上に有効であることを示す。
論文 参考訳(メタデータ) (2020-07-02T22:36:49Z) - The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural
Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。
我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文 参考訳(メタデータ) (2020-06-10T15:38:30Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2~5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳(メタデータ) (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。