論文の概要: AttNS: Attention-Inspired Numerical Solving For Limited Data Scenarios

• arxiv url: http://arxiv.org/abs/2302.10184v2
• Date: Wed, 05 Feb 2025 12:23:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:25:06.865573
• Title: AttNS: Attention-Inspired Numerical Solving For Limited Data Scenarios
• Title（参考訳）: AttNS: 限定データシナリオに対する注意喚起型数値解法
• Authors: Zhongzhan Huang, Mingfu Liang, Shanshan Zhong, Liang Lin,
• Abstract要約: 限定データによる微分方程式の解法として,注目型数値解法(AttNS)を提案する。 AttNSは、モデル一般化とロバスト性の向上におけるResidual Neural Networks(ResNet)のアテンションモジュールの効果にインスパイアされている。
• 参考スコア（独自算出の注目度）: 51.94807626839365
• License:
• Abstract: We propose the attention-inspired numerical solver (AttNS), a concise method that helps the generalization and robustness issues faced by the AI-Hybrid numerical solver in solving differential equations due to limited data. AttNS is inspired by the effectiveness of attention modules in Residual Neural Networks (ResNet) in enhancing model generalization and robustness for conventional deep learning tasks. Drawing from the dynamical system perspective of ResNet, we seamlessly incorporate attention mechanisms into the design of numerical methods tailored for the characteristics of solving differential equations. Our results on benchmarks, ranging from high-dimensional problems to chaotic systems, showcases AttNS consistently enhancing various numerical solvers without any intricate model crafting. Finally, we analyze AttNS experimentally and theoretically, demonstrating its ability to achieve strong generalization and robustness while ensuring the convergence of the solver. This includes requiring less data compared to other advanced methods to achieve comparable generalization errors and better prevention of numerical explosion issues when solving differential equations.
• Abstract（参考訳）: 本稿では,AI-Hybrid数値解法が限定データによる微分方程式の解法で直面する一般化とロバスト性問題を支援する簡潔な手法である注目型数値解法(AttNS)を提案する。 AttNSは、Residual Neural Networks(Residual Neural Networks:ResNet)におけるアテンションモジュールのモデル一般化と従来のディープラーニングタスクの堅牢性向上効果にインスパイアされている。 ResNetの動的システムの観点から、微分方程式の特性に合わせた数値手法の設計に注意機構をシームレスに組み込む。 高次元問題からカオスシステムまで,我々のベンチマークの結果は,AttNSが複雑なモデル作成を伴わずに,様々な数値解法を一貫して拡張していることを示している。 最後に,AttNSを実験的,理論的に解析し,解法の収束性を確保しつつ,強力な一般化とロバスト性を実現する能力を示す。 これには、差分方程式を解くときの数値爆発問題の防止に匹敵する一般化誤差を達成するために、他の先進的な方法に比べて少ないデータを要求することが含まれる。

関連論文リスト

• Advanced Physics-Informed Neural Network with Residuals for Solving Complex Integral Equations [0.13499500088995461]
  RISNは、幅広い積分方程式と積分微分方程式を解くために設計された、新しいニューラルネットワークアーキテクチャである。 RISN は PINN を一貫して上回り,様々な種類の方程式に対して平均絶対誤差 (MAE) を著しく低下させることを示す。 その結果、RISNの難解な積分および積分微分問題の解法における堅牢性と効率性を強調した。
  論文  参考訳（メタデータ） (2025-01-22T19:47:03Z)
• A Model-Constrained Discontinuous Galerkin Network (DGNet) for Compressible Euler Equations with Out-of-Distribution Generalization [0.0]
  本稿では,モデル制約付き不連続なGalerkin Network (DGNet) アプローチを提案する。 DGNetの中核は、いくつかの重要な戦略のシナジーである。 1次元および2次元圧縮可能なオイラー方程式問題に対する包括的数値計算結果を提案する。
  論文  参考訳（メタデータ） (2024-09-27T01:13:38Z)
• Physics Informed Kolmogorov-Arnold Neural Networks for Dynamical Analysis via Efficent-KAN and WAV-KAN [0.12045539806824918]
  物理インフォームド・コルモゴロフ・アルノルドニューラルネットワーク(PIKAN)を効率的なKANとWAV-KANにより実装する。 PIKANは従来のディープニューラルネットワークよりも優れた性能を示し、少ないレイヤで同じレベルの精度を実現し、計算オーバーヘッドを低減している。
  論文  参考訳（メタデータ） (2024-07-25T20:14:58Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Enhancing Low-Order Discontinuous Galerkin Methods with Neural Ordinary Differential Equations for Compressible Navier--Stokes Equations [0.1578515540930834]
  圧縮可能なNavier-Stokes方程式を解くためのエンドツーエンドの微分可能なフレームワークを提案する。 この統合アプローチは、微分可能不連続なガレルキン解法とニューラルネットワークのソース項を組み合わせる。 提案するフレームワークの性能を2つの例で示す。
  論文  参考訳（メタデータ） (2023-10-29T04:26:23Z)
• Physical Information Neural Networks for Solving High-index Differential-algebraic Equation Systems Based on Radau Methods [10.974537885042613]
  本稿では,ハイインデックスDAEを直接解くために,Radau IIA数値計算とアテンション機構によるニューラルネットワーク構造を組み合わせたPINN計算フレームワークを提案する。 本手法は,より大規模なDAEの高精度解を実現するために,優れた計算精度と強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2023-10-19T15:57:10Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
  本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
  論文  参考訳（メタデータ） (2022-10-14T15:01:32Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。