論文の概要: On Robust Numerical Solver for ODE via Self-Attention Mechanism

• arxiv url: http://arxiv.org/abs/2302.10184v1
• Date: Sun, 5 Feb 2023 01:39:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-26 14:35:03.357101
• Title: On Robust Numerical Solver for ODE via Self-Attention Mechanism
• Title（参考訳）: 自己認識機構によるODEのロバスト数値解法について
• Authors: Zhongzhan Huang, Mingfu Liang and Liang Lin
• Abstract要約: 我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
• 参考スコア（独自算出の注目度）: 82.95493796476767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the development of deep learning techniques, AI-enhanced numerical solvers are expected to become a new paradigm for solving differential equations due to their versatility and effectiveness in alleviating the accuracy-speed trade-off in traditional numerical solvers. However, this paradigm still inevitably requires a large amount of high-quality data, whose acquisition is often very expensive in natural science and engineering problems. Therefore, in this paper, we explore training efficient and robust AI-enhanced numerical solvers with a small data size by mitigating intrinsic noise disturbances. We first analyze the ability of the self-attention mechanism to regulate noise in supervised learning and then propose a simple-yet-effective numerical solver, AttSolver, which introduces an additive self-attention mechanism to the numerical solution of differential equations based on the dynamical system perspective of the residual neural network. Our results on benchmarks, ranging from high-dimensional problems to chaotic systems, demonstrate the effectiveness of AttSolver in generally improving the performance of existing traditional numerical solvers without any elaborated model crafting. Finally, we analyze the convergence, generalization, and robustness of the proposed method experimentally and theoretically.
• Abstract（参考訳）: 深層学習技術の発展に伴い,従来の数値解法における精度・速度トレードオフを緩和する汎用性と有効性から,aiエンハンスド数値解法が微分方程式の新たなパラダイムとして期待されている。 しかし、このパラダイムは必然的に大量の高品質なデータを必要とし、その獲得はしばしば自然科学や工学の問題において非常に高価である。 そこで,本研究では,内在性雑音障害を緩和し,AIによる高効率で堅牢な数値解法を提案する。 まず,教師付き学習における雑音の制御を行う自己認識機構の能力を解析し,残差ニューラルネットワークの力学系の観点から微分方程式の数値解に付加的な自己認識機構を導入し,簡易かつ有効な数値解法 AttSolver を提案する。 高次元問題からカオスシステムまで多岐にわたるベンチマークの結果から,attsolverの有効性が示され,既存の数値解法の性能を,精巧なモデル作成を伴わずに改善できることを示した。 最後に,提案手法の収束,一般化,堅牢性を実験的,理論的に解析する。

関連論文リスト

• Advanced Physics-Informed Neural Network with Residuals for Solving Complex Integral Equations [0.13499500088995461]
  RISNは、幅広い積分方程式と積分微分方程式を解くために設計された、新しいニューラルネットワークアーキテクチャである。 RISN は PINN を一貫して上回り,様々な種類の方程式に対して平均絶対誤差 (MAE) を著しく低下させることを示す。 その結果、RISNの難解な積分および積分微分問題の解法における堅牢性と効率性を強調した。
  論文  参考訳（メタデータ） (2025-01-22T19:47:03Z)
• A Model-Constrained Discontinuous Galerkin Network (DGNet) for Compressible Euler Equations with Out-of-Distribution Generalization [0.0]
  本稿では,モデル制約付き不連続なGalerkin Network (DGNet) アプローチを提案する。 DGNetの中核は、いくつかの重要な戦略のシナジーである。 1次元および2次元圧縮可能なオイラー方程式問題に対する包括的数値計算結果を提案する。
  論文  参考訳（メタデータ） (2024-09-27T01:13:38Z)
• Physics Informed Kolmogorov-Arnold Neural Networks for Dynamical Analysis via Efficent-KAN and WAV-KAN [0.12045539806824918]
  物理インフォームド・コルモゴロフ・アルノルドニューラルネットワーク(PIKAN)を効率的なKANとWAV-KANにより実装する。 PIKANは従来のディープニューラルネットワークよりも優れた性能を示し、少ないレイヤで同じレベルの精度を実現し、計算オーバーヘッドを低減している。
  論文  参考訳（メタデータ） (2024-07-25T20:14:58Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Enhancing Low-Order Discontinuous Galerkin Methods with Neural Ordinary Differential Equations for Compressible Navier--Stokes Equations [0.1578515540930834]
  圧縮可能なNavier-Stokes方程式を解くためのエンドツーエンドの微分可能なフレームワークを提案する。 この統合アプローチは、微分可能不連続なガレルキン解法とニューラルネットワークのソース項を組み合わせる。 提案するフレームワークの性能を2つの例で示す。
  論文  参考訳（メタデータ） (2023-10-29T04:26:23Z)
• Physical Information Neural Networks for Solving High-index Differential-algebraic Equation Systems Based on Radau Methods [10.974537885042613]
  本稿では,ハイインデックスDAEを直接解くために,Radau IIA数値計算とアテンション機構によるニューラルネットワーク構造を組み合わせたPINN計算フレームワークを提案する。 本手法は,より大規模なDAEの高精度解を実現するために,優れた計算精度と強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2023-10-19T15:57:10Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
  本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
  論文  参考訳（メタデータ） (2022-10-14T15:01:32Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。