Fugu-MT 論文翻訳(概要): On Robust Numerical Solver for ODE via Self-Attention Mechanism

論文の概要: On Robust Numerical Solver for ODE via Self-Attention Mechanism

arxiv url: http://arxiv.org/abs/2302.10184v1
Date: Sun, 5 Feb 2023 01:39:21 GMT
ステータス: 処理完了
システム内更新日: 2023-02-26 14:35:03.357101
Title: On Robust Numerical Solver for ODE via Self-Attention Mechanism
Title（参考訳）: 自己認識機構によるODEのロバスト数値解法について
Authors: Zhongzhan Huang, Mingfu Liang and Liang Lin
Abstract要約: 我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
参考スコア（独自算出の注目度）: 82.95493796476767
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the development of deep learning techniques, AI-enhanced numerical solvers are expected to become a new paradigm for solving differential equations due to their versatility and effectiveness in alleviating the accuracy-speed trade-off in traditional numerical solvers. However, this paradigm still inevitably requires a large amount of high-quality data, whose acquisition is often very expensive in natural science and engineering problems. Therefore, in this paper, we explore training efficient and robust AI-enhanced numerical solvers with a small data size by mitigating intrinsic noise disturbances. We first analyze the ability of the self-attention mechanism to regulate noise in supervised learning and then propose a simple-yet-effective numerical solver, AttSolver, which introduces an additive self-attention mechanism to the numerical solution of differential equations based on the dynamical system perspective of the residual neural network. Our results on benchmarks, ranging from high-dimensional problems to chaotic systems, demonstrate the effectiveness of AttSolver in generally improving the performance of existing traditional numerical solvers without any elaborated model crafting. Finally, we analyze the convergence, generalization, and robustness of the proposed method experimentally and theoretically.
Abstract（参考訳）: 深層学習技術の発展に伴い,従来の数値解法における精度・速度トレードオフを緩和する汎用性と有効性から,aiエンハンスド数値解法が微分方程式の新たなパラダイムとして期待されている。しかし、このパラダイムは必然的に大量の高品質なデータを必要とし、その獲得はしばしば自然科学や工学の問題において非常に高価である。そこで,本研究では,内在性雑音障害を緩和し,AIによる高効率で堅牢な数値解法を提案する。まず,教師付き学習における雑音の制御を行う自己認識機構の能力を解析し,残差ニューラルネットワークの力学系の観点から微分方程式の数値解に付加的な自己認識機構を導入し,簡易かつ有効な数値解法 AttSolver を提案する。高次元問題からカオスシステムまで多岐にわたるベンチマークの結果から,attsolverの有効性が示され,既存の数値解法の性能を,精巧なモデル作成を伴わずに改善できることを示した。最後に,提案手法の収束,一般化,堅牢性を実験的,理論的に解析する。

関連論文リスト

Harnessing physics-informed operators for high-dimensional reliability analysis problems [0.8192907805418583]
信頼性分析(Reliability analysis)は、特に多数のパラメータを持つシステムにおいて、非常に難しいタスクである。信頼性を定量化するための従来の手法は、しばしば広範なシミュレーションや実験データに依存している。物理インフォームド演算子は,高次元信頼性解析問題を妥当な精度でシームレスに解くことができることを示す。
論文参考訳（メタデータ） (2024-09-07T04:52:03Z)
Adversarial Learning for Neural PDE Solvers with Sparse Data [4.226449585713182]
本研究では,ロバストトレーニングのためのシステムモデル拡張(Systematic Model Augmentation for Robust Training)という,ニューラルネットワークPDEの普遍的学習戦略を紹介する。モデルの弱点に挑戦し改善することに集中することにより、SMARTはデータスカース条件下でのトレーニング中の一般化エラーを低減する。
論文参考訳（メタデータ） (2024-09-04T04:18:25Z)
Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文参考訳（メタデータ） (2024-01-11T15:02:15Z)
Physical Information Neural Networks for Solving High-index Differential-algebraic Equation Systems Based on Radau Methods [10.974537885042613]
本稿では,ハイインデックスDAEを直接解くために,Radau IIA数値計算とアテンション機構によるニューラルネットワーク構造を組み合わせたPINN計算フレームワークを提案する。本手法は,より大規模なDAEの高精度解を実現するために,優れた計算精度と強力な一般化能力を示す。
論文参考訳（メタデータ） (2023-10-19T15:57:10Z)
An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文参考訳（メタデータ） (2023-06-10T08:25:16Z)
On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
論文参考訳（メタデータ） (2022-08-07T09:02:18Z)
Learning Sparse Nonlinear Dynamics via Mixed-Integer Optimization [3.7565501074323224]
分散整数最適化 (MIO) を用いたSINDyDy問題の厳密な定式化を提案し, 分散制約付き回帰問題を数秒で証明可能な最適性を求める。正確なモデル発見における我々のアプローチの劇的な改善について説明するとともに、よりサンプリング効率が高く、ノイズに耐性があり、物理的制約の緩和にも柔軟である。
論文参考訳（メタデータ） (2022-06-01T01:43:45Z)
Interfacing Finite Elements with Deep Neural Operators for Fast Multiscale Modeling of Mechanics Problems [4.280301926296439]
本研究では,機械学習を用いたマルチスケールモデリングのアイデアを探求し,高コストソルバの効率的なサロゲートとしてニューラル演算子DeepONetを用いる。 DeepONetは、きめ細かい解法から取得したデータを使って、基礎とおそらく未知のスケールのダイナミクスを学習してオフラインでトレーニングされている。精度とスピードアップを評価するための様々なベンチマークを提示し、特に時間依存問題に対する結合アルゴリズムを開発する。
論文参考訳（メタデータ） (2022-02-25T20:46:08Z)
Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。コア最適化問題の実用的なパラメトリゼーションを提供する。
論文参考訳（メタデータ） (2021-07-08T18:01:02Z)
Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文参考訳（メタデータ） (2021-04-27T16:56:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。