論文の概要: AttNS: Attention-Inspired Numerical Solving For Limited Data Scenarios

• arxiv url: http://arxiv.org/abs/2302.10184v2
• Date: Wed, 05 Feb 2025 12:23:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 16:28:50.51393
• Title: AttNS: Attention-Inspired Numerical Solving For Limited Data Scenarios
• Title（参考訳）: AttNS: 限定データシナリオに対する注意喚起型数値解法
• Authors: Zhongzhan Huang, Mingfu Liang, Shanshan Zhong, Liang Lin,
• Abstract要約: 限定データによる微分方程式の解法として,注目型数値解法(AttNS)を提案する。 AttNSは、モデル一般化とロバスト性の向上におけるResidual Neural Networks(ResNet)のアテンションモジュールの効果にインスパイアされている。
• 参考スコア（独自算出の注目度）: 51.94807626839365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose the attention-inspired numerical solver (AttNS), a concise method that helps the generalization and robustness issues faced by the AI-Hybrid numerical solver in solving differential equations due to limited data. AttNS is inspired by the effectiveness of attention modules in Residual Neural Networks (ResNet) in enhancing model generalization and robustness for conventional deep learning tasks. Drawing from the dynamical system perspective of ResNet, we seamlessly incorporate attention mechanisms into the design of numerical methods tailored for the characteristics of solving differential equations. Our results on benchmarks, ranging from high-dimensional problems to chaotic systems, showcases AttNS consistently enhancing various numerical solvers without any intricate model crafting. Finally, we analyze AttNS experimentally and theoretically, demonstrating its ability to achieve strong generalization and robustness while ensuring the convergence of the solver. This includes requiring less data compared to other advanced methods to achieve comparable generalization errors and better prevention of numerical explosion issues when solving differential equations.
• Abstract（参考訳）: 本稿では,AI-Hybrid数値解法が限定データによる微分方程式の解法で直面する一般化とロバスト性問題を支援する簡潔な手法である注目型数値解法(AttNS)を提案する。 AttNSは、Residual Neural Networks(Residual Neural Networks:ResNet)におけるアテンションモジュールのモデル一般化と従来のディープラーニングタスクの堅牢性向上効果にインスパイアされている。 ResNetの動的システムの観点から、微分方程式の特性に合わせた数値手法の設計に注意機構をシームレスに組み込む。 高次元問題からカオスシステムまで,我々のベンチマークの結果は,AttNSが複雑なモデル作成を伴わずに,様々な数値解法を一貫して拡張していることを示している。 最後に,AttNSを実験的,理論的に解析し,解法の収束性を確保しつつ,強力な一般化とロバスト性を実現する能力を示す。 これには、差分方程式を解くときの数値爆発問題の防止に匹敵する一般化誤差を達成するために、他の先進的な方法に比べて少ないデータを要求することが含まれる。

関連論文リスト

• A Simultaneous Approach for Training Neural Differential-Algebraic Systems of Equations [0.4935512063616847]
  我々は、未知の関係がデータから学習される方程式のニューラル微分代数系(DAE)について研究する。 ニューラルDAE問題に対して同時アプローチを適用することにより、完全に離散化された非線形最適化問題を導出する。 我々は、様々な問題設定において、精度、モデル一般化可能性、計算コストの点で有望な結果を達成する。
  論文  参考訳（メタデータ） (2025-04-07T01:26:55Z)
• Advanced Physics-Informed Neural Network with Residuals for Solving Complex Integral Equations [0.13499500088995461]
  RISNは、幅広い積分方程式と積分微分方程式を解くために設計された、新しいニューラルネットワークアーキテクチャである。 RISNは残差接続を高精度な数値法と統合する。 RISNは古典的なPINNよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-22T19:47:03Z)
• A Model-Constrained Discontinuous Galerkin Network (DGNet) for Compressible Euler Equations with Out-of-Distribution Generalization [0.0]
  本稿では,モデル制約付き不連続なGalerkin Network (DGNet) アプローチを提案する。 DGNetの中核は、いくつかの重要な戦略のシナジーである。 1次元および2次元圧縮可能なオイラー方程式問題に対する包括的数値計算結果を提案する。
  論文  参考訳（メタデータ） (2024-09-27T01:13:38Z)
• Harnessing physics-informed operators for high-dimensional reliability analysis problems [0.8192907805418583]
  信頼性分析(Reliability analysis)は、特に多数のパラメータを持つシステムにおいて、非常に難しいタスクである。 信頼性を定量化するための従来の手法は、しばしば広範なシミュレーションや実験データに依存している。 物理インフォームド演算子は,高次元信頼性解析問題を妥当な精度でシームレスに解くことができることを示す。
  論文  参考訳（メタデータ） (2024-09-07T04:52:03Z)
• Adversarial Learning for Neural PDE Solvers with Sparse Data [4.226449585713182]
  本研究では,ロバストトレーニングのためのシステムモデル拡張(Systematic Model Augmentation for Robust Training)という,ニューラルネットワークPDEの普遍的学習戦略を紹介する。 モデルの弱点に挑戦し改善することに集中することにより、SMARTはデータスカース条件下でのトレーニング中の一般化エラーを低減する。
  論文  参考訳（メタデータ） (2024-09-04T04:18:25Z)
• Physics Informed Kolmogorov-Arnold Neural Networks for Dynamical Analysis via Efficent-KAN and WAV-KAN [0.12045539806824918]
  物理インフォームド・コルモゴロフ・アルノルドニューラルネットワーク(PIKAN)を効率的なKANとWAV-KANにより実装する。 PIKANは従来のディープニューラルネットワークよりも優れた性能を示し、少ないレイヤで同じレベルの精度を実現し、計算オーバーヘッドを低減している。
  論文  参考訳（メタデータ） (2024-07-25T20:14:58Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Physical Information Neural Networks for Solving High-index Differential-algebraic Equation Systems Based on Radau Methods [10.974537885042613]
  本稿では,ハイインデックスDAEを直接解くために,Radau IIA数値計算とアテンション機構によるニューラルネットワーク構造を組み合わせたPINN計算フレームワークを提案する。 本手法は,より大規模なDAEの高精度解を実現するために,優れた計算精度と強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2023-10-19T15:57:10Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
  本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
  論文  参考訳（メタデータ） (2022-10-14T15:01:32Z)
• On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
  ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。 様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
  論文  参考訳（メタデータ） (2022-08-07T09:02:18Z)
• Learning Sparse Nonlinear Dynamics via Mixed-Integer Optimization [3.7565501074323224]
  分散整数最適化 (MIO) を用いたSINDyDy問題の厳密な定式化を提案し, 分散制約付き回帰問題を数秒で証明可能な最適性を求める。 正確なモデル発見における我々のアプローチの劇的な改善について説明するとともに、よりサンプリング効率が高く、ノイズに耐性があり、物理的制約の緩和にも柔軟である。
  論文  参考訳（メタデータ） (2022-06-01T01:43:45Z)
• Interfacing Finite Elements with Deep Neural Operators for Fast Multiscale Modeling of Mechanics Problems [4.280301926296439]
  本研究では,機械学習を用いたマルチスケールモデリングのアイデアを探求し,高コストソルバの効率的なサロゲートとしてニューラル演算子DeepONetを用いる。 DeepONetは、きめ細かい解法から取得したデータを使って、基礎とおそらく未知のスケールのダイナミクスを学習してオフラインでトレーニングされている。 精度とスピードアップを評価するための様々なベンチマークを提示し、特に時間依存問題に対する結合アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-25T20:46:08Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。