論文の概要: Neural Integral Equations
- arxiv url: http://arxiv.org/abs/2209.15190v5
- Date: Tue, 10 Sep 2024 21:18:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 22:28:06.317256
- Title: Neural Integral Equations
- Title（参考訳）: ニューラル積分方程式
- Authors: Emanuele Zappala, Antonio Henrique de Oliveira Fonseca, Josue Ortega Caro, Andrew Henry Moberly, Michael James Higley, Jessica Cardin, David van Dijk,
- Abstract要約: IEソルバを用いたデータから未知の積分演算子を学習する手法を提案する。
また,注意神経積分方程式(ANIE, Attentional Neural Integral Equations)も提示する。
- 参考スコア（独自算出の注目度）: 3.087238735145305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nonlinear operators with long distance spatiotemporal dependencies are fundamental in modeling complex systems across sciences, yet learning these nonlocal operators remains challenging in machine learning. Integral equations (IEs), which model such nonlocal systems, have wide ranging applications in physics, chemistry, biology, and engineering. We introduce Neural Integral Equations (NIE), a method for learning unknown integral operators from data using an IE solver. To improve scalability and model capacity, we also present Attentional Neural Integral Equations (ANIE), which replaces the integral with self-attention. Both models are grounded in the theory of second kind integral equations, where the indeterminate appears both inside and outside the integral operator. We provide theoretical analysis showing how self-attention can approximate integral operators under mild regularity assumptions, further deepening previously reported connections between transformers and integration, and deriving corresponding approximation results for integral operators. Through numerical benchmarks on synthetic and real world data, including Lotka-Volterra, Navier-Stokes, and Burgers' equations, as well as brain dynamics and integral equations, we showcase the models' capabilities and their ability to derive interpretable dynamics embeddings. Our experiments demonstrate that ANIE outperforms existing methods, especially for longer time intervals and higher dimensional problems. Our work addresses a critical gap in machine learning for nonlocal operators and offers a powerful tool for studying unknown complex systems with long range dependencies.
- Abstract（参考訳）: 長距離時空間依存を持つ非線形作用素は、科学全体にわたる複雑なシステムをモデル化する上で基本的なものであるが、これらの非局所作用素を学習することは、機械学習において依然として困難である。
そのような非局所的なシステムをモデル化する積分方程式(IE)は、物理学、化学、生物学、工学に幅広い応用がある。
IEソルバを用いたデータから未知の積分演算子を学習する方法であるNeural Integral Equations (NIE)を導入する。
スケーラビリティとモデルキャパシティを向上させるために、積分を自己注意に置き換える意図的ニューラルネットワーク積分方程式(ANIE)も提示する。
どちらのモデルも第二種積分方程式の理論に基礎を置いており、不定詞は積分作用素の内部と外部の両方に現れる。
本稿では, 半正規性仮定の下で自己注意が積分作用素をどのように近似するかを理論的解析し, 先に報告した変換器と積分との接続をより深くし, 積分作用素に対する対応する近似結果を導出する。
Lotka-Volterra、Navier-Stokes、Burgersの方程式など、合成および実世界のデータに関する数値的なベンチマークを通じて、モデルの能力と解釈可能な動的埋め込みを導出する能力を示す。
実験の結果,AnIEは従来の手法,特に時間間隔と高次元問題において優れていた。
我々の研究は、非局所演算子の機械学習における重要なギャップに対処し、長い範囲依存を持つ未知の複雑なシステムを研究するための強力なツールを提供する。
関連論文リスト
- DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。
DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。
経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
論文 参考訳（メタデータ） (2024-10-08T10:48:50Z) - PICL: Physics Informed Contrastive Learning for Partial Differential Equations [7.136205674624813]
我々は,複数の支配方程式にまたがるニューラル演算子一般化を同時に改善する,新しいコントラスト事前学習フレームワークを開発する。
物理インフォームドシステムの進化と潜在空間モデル出力の組み合わせは、入力データに固定され、我々の距離関数で使用される。
物理インフォームドコントラストプレトレーニングにより,1次元および2次元熱,バーガーズ,線形対流方程式に対する固定フューチャーおよび自己回帰ロールアウトタスクにおけるフーリエニューラル演算子の精度が向上することがわかった。
論文 参考訳（メタデータ） (2024-01-29T17:32:22Z) - Spectral methods for Neural Integral Equations [0.6993026261767287]
本稿では,スペクトル法に基づくニューラル積分方程式の枠組みを提案する。
モデルの近似能力に関する様々な理論的保証を示す。
得られたモデルの有効性を示す数値実験を行う。
論文 参考訳（メタデータ） (2023-12-09T19:42:36Z) - Learning nonlinear integral operators via Recurrent Neural Networks and
its application in solving Integro-Differential Equations [4.011446845089061]
非線形積分微分方程式(IDE)に現れる非線形積分作用素を学習し、表現する。
非線形積分作用素のLSTM-RNN表現により、非線形積分微分方程式の系を通常の微分方程式の系に変換することができる。
量子多体系に対するダイソン方程式を効果的に解く方法について述べる。
論文 参考訳（メタデータ） (2023-10-13T22:57:46Z) - CoNO: Complex Neural Operator for Continuous Dynamical Systems [10.326780211731263]
複素分数フーリエ領域の積分核をパラメータ化する複素ニューラル演算子(CoNO)を導入する。
このモデルは, 1つの複素分数フーリエ変換を用いて, 基礎となる偏微分方程式を効果的に捕捉することを示す。
論文 参考訳（メタデータ） (2023-10-03T14:38:12Z) - Neural Operators for Accelerating Scientific Simulations and Design [85.89660065887956]
Neural Operatorsとして知られるAIフレームワークは、継続的ドメインで定義された関数間のマッピングを学習するための原則的なフレームワークを提供する。
ニューラルオペレータは、計算流体力学、天気予報、物質モデリングなど、多くのアプリケーションで既存のシミュレータを拡張または置き換えることができる。
論文 参考訳（メタデータ） (2023-09-27T00:12:07Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳（メタデータ） (2023-02-05T01:39:21Z) - Semi-supervised Learning of Partial Differential Operators and Dynamical
Flows [68.77595310155365]
本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。
本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。
その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
論文 参考訳（メタデータ） (2022-07-28T19:59:14Z) - Neural Integro-Differential Equations [2.001149416674759]
積分微分方程式 (IDE) は、積分成分と微分成分の両方を構成する微分方程式の一般化である。
NIDEは、ニューラルネットワークを使用してIDEの通常のコンポーネントと統合コンポーネントをモデル化するフレームワークである。
NIDEは力学をマルコフ成分と非マルコフ成分に分解できることを示す。
論文 参考訳（メタデータ） (2022-06-28T20:39:35Z) - Neural Laplace: Learning diverse classes of differential equations in
the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。
時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。
The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文 参考訳（メタデータ） (2022-06-10T02:14:59Z) - Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。
バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。
従来のPDEソルバに比べて最大3桁高速である。
論文 参考訳（メタデータ） (2020-10-18T00:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。