論文の概要: Residual-based attention and connection to information bottleneck theory
in PINNs
- arxiv url: http://arxiv.org/abs/2307.00379v1
- Date: Sat, 1 Jul 2023 16:29:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 16:24:22.051213
- Title: Residual-based attention and connection to information bottleneck theory
in PINNs
- Title(参考訳): PINNにおける残留注意と情報ボトルネック理論との関係
- Authors: Sokratis J. Anagnostopoulos, Juan Diego Toscano, Nikolaos
Stergiopulos, George Em Karniadakis
- Abstract要約: 近年,物理インフォームドニューラルネットワーク(PINN)への関心が高まっている。
本稿では,動的システムや静的システムの収束を加速する,PINNの効率的な勾配なし重み付け手法を提案する。
- 参考スコア(独自算出の注目度): 0.393259574660092
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Driven by the need for more efficient and seamless integration of physical
models and data, physics-informed neural networks (PINNs) have seen a surge of
interest in recent years. However, ensuring the reliability of their
convergence and accuracy remains a challenge. In this work, we propose an
efficient, gradient-less weighting scheme for PINNs, that accelerates the
convergence of dynamic or static systems. This simple yet effective attention
mechanism is a function of the evolving cumulative residuals and aims to make
the optimizer aware of problematic regions at no extra computational cost or
adversarial learning. We illustrate that this general method consistently
achieves a relative $L^{2}$ error of the order of $10^{-5}$ using standard
optimizers on typical benchmark cases of the literature. Furthermore, by
investigating the evolution of weights during training, we identify two
distinct learning phases reminiscent of the fitting and diffusion phases
proposed by the information bottleneck (IB) theory. Subsequent gradient
analysis supports this hypothesis by aligning the transition from high to low
signal-to-noise ratio (SNR) with the transition from fitting to diffusion
regimes of the adopted weights. This novel correlation between PINNs and IB
theory could open future possibilities for understanding the underlying
mechanisms behind the training and stability of PINNs and, more broadly, of
neural operators.
- Abstract(参考訳): 物理モデルとデータのより効率的でシームレスな統合の必要性によって、物理学インフォームドニューラルネットワーク(PINN)は近年、注目を集めている。
しかし、その収束と正確さの信頼性を確保することは依然として課題である。
本研究では,動的システムや静的システムの収束を高速化する,PINNの効率的な勾配なし重み付け手法を提案する。
このシンプルで効果的な注意機構は、累積残差の進化の関数であり、計算コストや逆学習を伴わない問題領域を最適化者に認識させることを目的としている。
この一般的な手法は、文献の典型的なベンチマークケースの標準オプティマイザを用いて、L^{2}$10^{-5}$の相対誤差を一貫して達成する。
さらに,学習中の重みの進化を調べることにより,情報ボトルネック(ib)理論によって提案された適合相と拡散相を想起する2つの異なる学習相を同定する。
その後の勾配解析は、高信号対雑音比(SNR)からの遷移を、採用重量の適合状態から拡散状態への遷移と整合させることで、この仮説を支持する。
この新しいPINNとIB理論の相関は、PINNのトレーニングと安定性の背後にあるメカニズムや、より広くは神経オペレーターを理解するための将来の可能性を開く可能性がある。
関連論文リスト
- Stabilizing RNN Gradients through Pre-training [3.335932527835653]
学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。
我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。
本稿では,この問題を緩和するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-23T11:48:35Z) - Investigation of Compressor Cascade Flow Using Physics- Informed Neural
Networks with Adaptive Learning Strategy [3.7683769965680067]
本研究では,新しい物理情報ニューラルネットワーク(PINN)を用いて,圧縮機の流れ場を初めて予測する。
PINNは、部分速度ベクトルと近接壁圧力情報のみに基づいて圧縮機のカスケードの流れ場を再構築することに成功した。
この研究は、PINNが現在の支配的なCFD手法と並行して、ターボ機械設計者に追加かつ有望な選択肢を提供できることを示す証拠を提供する。
論文 参考訳(メタデータ) (2023-07-15T22:01:28Z) - Information Bottleneck Analysis of Deep Neural Networks via Lossy
Compression [55.41644538483948]
Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。
本稿では,一般NNのICB解析のための包括的フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-13T21:44:32Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳(メタデータ) (2022-09-19T18:48:00Z) - Distribution-sensitive Information Retention for Accurate Binary Neural
Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。
我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。
我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文 参考訳(メタデータ) (2021-09-25T10:59:39Z) - Physics-aware deep neural networks for surrogate modeling of turbulent
natural convection [0.0]
Rayleigh-B'enard乱流流に対するPINNのサーロゲートモデルの使用を検討する。
標準ピンの精度が低いゾーンであるトレーニング境界に近い正規化として、どのように機能するかを示す。
50億のDNS座標全体のサロゲートの予測精度は、相対的なL2ノルムで[0.3% -- 4%]の範囲のすべてのフロー変数のエラーをもたらします。
論文 参考訳(メタデータ) (2021-03-05T09:48:57Z) - On Lyapunov Exponents for RNNs: Understanding Information Propagation
Using Dynamical Systems Tools [6.199300239433395]
Lyapunov Exponents (LEs) は非線形系軌道の膨張と収縮の速度を測定する。
情報の前方伝播は誤り勾配の後方伝播と関係しているため、レはRNN訓練力学の安定性に左右される。
学習力学の安定性を理解し、活用するためのツールとして、リャプノフスペクトルは、規範的な数学的アプローチの間の既存のギャップを埋める。
論文 参考訳(メタデータ) (2020-06-25T00:53:19Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳(メタデータ) (2020-04-20T18:12:56Z) - A deep learning framework for solution and discovery in solid mechanics [1.4699455652461721]
本稿では,物理情報ニューラルネットワーク(PINN)と呼ばれるディープラーニングのクラスを,固体力学の学習と発見に応用する。
本稿では, 運動量バランスと弾性の関係をPINNに組み込む方法について解説し, 線形弾性への応用について詳細に検討する。
論文 参考訳(メタデータ) (2020-02-14T08:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。