論文の概要: On Robust Numerical Solver for ODE via Self-Attention Mechanism

• arxiv url: http://arxiv.org/abs/2302.10184v1
• Date: Sun, 5 Feb 2023 01:39:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-02-26 14:35:03.357101
• Title: On Robust Numerical Solver for ODE via Self-Attention Mechanism
• Title（参考訳）: 自己認識機構によるODEのロバスト数値解法について
• Authors: Zhongzhan Huang, Mingfu Liang and Liang Lin
• Abstract要約: 我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
• 参考スコア（独自算出の注目度）: 82.95493796476767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the development of deep learning techniques, AI-enhanced numerical solvers are expected to become a new paradigm for solving differential equations due to their versatility and effectiveness in alleviating the accuracy-speed trade-off in traditional numerical solvers. However, this paradigm still inevitably requires a large amount of high-quality data, whose acquisition is often very expensive in natural science and engineering problems. Therefore, in this paper, we explore training efficient and robust AI-enhanced numerical solvers with a small data size by mitigating intrinsic noise disturbances. We first analyze the ability of the self-attention mechanism to regulate noise in supervised learning and then propose a simple-yet-effective numerical solver, AttSolver, which introduces an additive self-attention mechanism to the numerical solution of differential equations based on the dynamical system perspective of the residual neural network. Our results on benchmarks, ranging from high-dimensional problems to chaotic systems, demonstrate the effectiveness of AttSolver in generally improving the performance of existing traditional numerical solvers without any elaborated model crafting. Finally, we analyze the convergence, generalization, and robustness of the proposed method experimentally and theoretically.
• Abstract（参考訳）: 深層学習技術の発展に伴い,従来の数値解法における精度・速度トレードオフを緩和する汎用性と有効性から,aiエンハンスド数値解法が微分方程式の新たなパラダイムとして期待されている。 しかし、このパラダイムは必然的に大量の高品質なデータを必要とし、その獲得はしばしば自然科学や工学の問題において非常に高価である。 そこで,本研究では,内在性雑音障害を緩和し,AIによる高効率で堅牢な数値解法を提案する。 まず,教師付き学習における雑音の制御を行う自己認識機構の能力を解析し,残差ニューラルネットワークの力学系の観点から微分方程式の数値解に付加的な自己認識機構を導入し,簡易かつ有効な数値解法 AttSolver を提案する。 高次元問題からカオスシステムまで多岐にわたるベンチマークの結果から,attsolverの有効性が示され,既存の数値解法の性能を,精巧なモデル作成を伴わずに改善できることを示した。 最後に,提案手法の収束,一般化,堅牢性を実験的,理論的に解析する。

関連論文リスト

• A Simultaneous Approach for Training Neural Differential-Algebraic Systems of Equations [0.4935512063616847]
  我々は、未知の関係がデータから学習される方程式のニューラル微分代数系(DAE)について研究する。 ニューラルDAE問題に対して同時アプローチを適用することにより、完全に離散化された非線形最適化問題を導出する。 我々は、様々な問題設定において、精度、モデル一般化可能性、計算コストの点で有望な結果を達成する。
  論文  参考訳（メタデータ） (2025-04-07T01:26:55Z)
• Advanced Physics-Informed Neural Network with Residuals for Solving Complex Integral Equations [0.13499500088995461]
  RISNは、幅広い積分方程式と積分微分方程式を解くために設計された、新しいニューラルネットワークアーキテクチャである。 RISNは残差接続を高精度な数値法と統合する。 RISNは古典的なPINNよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-22T19:47:03Z)
• A Model-Constrained Discontinuous Galerkin Network (DGNet) for Compressible Euler Equations with Out-of-Distribution Generalization [0.0]
  本稿では,モデル制約付き不連続なGalerkin Network (DGNet) アプローチを提案する。 DGNetの中核は、いくつかの重要な戦略のシナジーである。 1次元および2次元圧縮可能なオイラー方程式問題に対する包括的数値計算結果を提案する。
  論文  参考訳（メタデータ） (2024-09-27T01:13:38Z)
• Harnessing physics-informed operators for high-dimensional reliability analysis problems [0.8192907805418583]
  信頼性分析(Reliability analysis)は、特に多数のパラメータを持つシステムにおいて、非常に難しいタスクである。 信頼性を定量化するための従来の手法は、しばしば広範なシミュレーションや実験データに依存している。 物理インフォームド演算子は,高次元信頼性解析問題を妥当な精度でシームレスに解くことができることを示す。
  論文  参考訳（メタデータ） (2024-09-07T04:52:03Z)
• Adversarial Learning for Neural PDE Solvers with Sparse Data [4.226449585713182]
  本研究では,ロバストトレーニングのためのシステムモデル拡張(Systematic Model Augmentation for Robust Training)という,ニューラルネットワークPDEの普遍的学習戦略を紹介する。 モデルの弱点に挑戦し改善することに集中することにより、SMARTはデータスカース条件下でのトレーニング中の一般化エラーを低減する。
  論文  参考訳（メタデータ） (2024-09-04T04:18:25Z)
• Physics Informed Kolmogorov-Arnold Neural Networks for Dynamical Analysis via Efficent-KAN and WAV-KAN [0.12045539806824918]
  物理インフォームド・コルモゴロフ・アルノルドニューラルネットワーク(PIKAN)を効率的なKANとWAV-KANにより実装する。 PIKANは従来のディープニューラルネットワークよりも優れた性能を示し、少ないレイヤで同じレベルの精度を実現し、計算オーバーヘッドを低減している。
  論文  参考訳（メタデータ） (2024-07-25T20:14:58Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Physical Information Neural Networks for Solving High-index Differential-algebraic Equation Systems Based on Radau Methods [10.974537885042613]
  本稿では,ハイインデックスDAEを直接解くために,Radau IIA数値計算とアテンション機構によるニューラルネットワーク構造を組み合わせたPINN計算フレームワークを提案する。 本手法は,より大規模なDAEの高精度解を実現するために,優れた計算精度と強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2023-10-19T15:57:10Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
  本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
  論文  参考訳（メタデータ） (2022-10-14T15:01:32Z)
• On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
  ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。 様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
  論文  参考訳（メタデータ） (2022-08-07T09:02:18Z)
• Learning Sparse Nonlinear Dynamics via Mixed-Integer Optimization [3.7565501074323224]
  分散整数最適化 (MIO) を用いたSINDyDy問題の厳密な定式化を提案し, 分散制約付き回帰問題を数秒で証明可能な最適性を求める。 正確なモデル発見における我々のアプローチの劇的な改善について説明するとともに、よりサンプリング効率が高く、ノイズに耐性があり、物理的制約の緩和にも柔軟である。
  論文  参考訳（メタデータ） (2022-06-01T01:43:45Z)
• Interfacing Finite Elements with Deep Neural Operators for Fast Multiscale Modeling of Mechanics Problems [4.280301926296439]
  本研究では,機械学習を用いたマルチスケールモデリングのアイデアを探求し,高コストソルバの効率的なサロゲートとしてニューラル演算子DeepONetを用いる。 DeepONetは、きめ細かい解法から取得したデータを使って、基礎とおそらく未知のスケールのダイナミクスを学習してオフラインでトレーニングされている。 精度とスピードアップを評価するための様々なベンチマークを提示し、特に時間依存問題に対する結合アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-25T20:46:08Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。