論文の概要: Neural Integral Equations
- arxiv url: http://arxiv.org/abs/2209.15190v5
- Date: Tue, 10 Sep 2024 21:18:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 22:28:06.317256
- Title: Neural Integral Equations
- Title(参考訳): ニューラル積分方程式
- Authors: Emanuele Zappala, Antonio Henrique de Oliveira Fonseca, Josue Ortega Caro, Andrew Henry Moberly, Michael James Higley, Jessica Cardin, David van Dijk,
- Abstract要約: IEソルバを用いたデータから未知の積分演算子を学習する手法を提案する。
また,注意神経積分方程式(ANIE, Attentional Neural Integral Equations)も提示する。
- 参考スコア(独自算出の注目度): 3.087238735145305
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nonlinear operators with long distance spatiotemporal dependencies are fundamental in modeling complex systems across sciences, yet learning these nonlocal operators remains challenging in machine learning. Integral equations (IEs), which model such nonlocal systems, have wide ranging applications in physics, chemistry, biology, and engineering. We introduce Neural Integral Equations (NIE), a method for learning unknown integral operators from data using an IE solver. To improve scalability and model capacity, we also present Attentional Neural Integral Equations (ANIE), which replaces the integral with self-attention. Both models are grounded in the theory of second kind integral equations, where the indeterminate appears both inside and outside the integral operator. We provide theoretical analysis showing how self-attention can approximate integral operators under mild regularity assumptions, further deepening previously reported connections between transformers and integration, and deriving corresponding approximation results for integral operators. Through numerical benchmarks on synthetic and real world data, including Lotka-Volterra, Navier-Stokes, and Burgers' equations, as well as brain dynamics and integral equations, we showcase the models' capabilities and their ability to derive interpretable dynamics embeddings. Our experiments demonstrate that ANIE outperforms existing methods, especially for longer time intervals and higher dimensional problems. Our work addresses a critical gap in machine learning for nonlocal operators and offers a powerful tool for studying unknown complex systems with long range dependencies.
- Abstract(参考訳): 長距離時空間依存を持つ非線形作用素は、科学全体にわたる複雑なシステムをモデル化する上で基本的なものであるが、これらの非局所作用素を学習することは、機械学習において依然として困難である。
そのような非局所的なシステムをモデル化する積分方程式(IE)は、物理学、化学、生物学、工学に幅広い応用がある。
IEソルバを用いたデータから未知の積分演算子を学習する方法であるNeural Integral Equations (NIE)を導入する。
スケーラビリティとモデルキャパシティを向上させるために、積分を自己注意に置き換える意図的ニューラルネットワーク積分方程式(ANIE)も提示する。
どちらのモデルも第二種積分方程式の理論に基礎を置いており、不定詞は積分作用素の内部と外部の両方に現れる。
本稿では, 半正規性仮定の下で自己注意が積分作用素をどのように近似するかを理論的解析し, 先に報告した変換器と積分との接続をより深くし, 積分作用素に対する対応する近似結果を導出する。
Lotka-Volterra、Navier-Stokes、Burgersの方程式など、合成および実世界のデータに関する数値的なベンチマークを通じて、モデルの能力と解釈可能な動的埋め込みを導出する能力を示す。
実験の結果,AnIEは従来の手法,特に時間間隔と高次元問題において優れていた。
我々の研究は、非局所演算子の機械学習における重要なギャップに対処し、長い範囲依存を持つ未知の複雑なシステムを研究するための強力なツールを提供する。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - Spectral methods for Neural Integral Equations [0.6993026261767287]
本稿では,スペクトル法に基づくニューラル積分方程式の枠組みを提案する。
モデルの近似能力に関する様々な理論的保証を示す。
得られたモデルの有効性を示す数値実験を行う。
論文 参考訳(メタデータ) (2023-12-09T19:42:36Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳(メタデータ) (2023-02-05T01:39:21Z) - Neural Integro-Differential Equations [2.001149416674759]
積分微分方程式 (IDE) は、積分成分と微分成分の両方を構成する微分方程式の一般化である。
NIDEは、ニューラルネットワークを使用してIDEの通常のコンポーネントと統合コンポーネントをモデル化するフレームワークである。
NIDEは力学をマルコフ成分と非マルコフ成分に分解できることを示す。
論文 参考訳(メタデータ) (2022-06-28T20:39:35Z) - D-CIPHER: Discovery of Closed-form Partial Differential Equations [80.46395274587098]
D-CIPHERは人工物の測定に頑健であり、微分方程式の新しい、非常に一般的なクラスを発見できる。
さらに,D-CIPHERを効率的に探索するための新しい最適化手法であるCoLLieを設計する。
論文 参考訳(メタデータ) (2022-06-21T17:59:20Z) - On Numerical Integration in Neural Ordinary Differential Equations [0.0]
本稿では,数値積分がニューラルネットワークモデルの学習に与える影響を明らかにするために,逆修正微分方程式(IMDE)を提案する。
ニューラルODEモデルのトレーニングは、真のODEではなく、IMDEの近似を実際に返すことが示されている。
論文 参考訳(メタデータ) (2022-06-15T07:39:01Z) - Neural Laplace: Learning diverse classes of differential equations in
the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。
時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。
The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文 参考訳(メタデータ) (2022-06-10T02:14:59Z) - AutoIP: A United Framework to Integrate Physics into Gaussian Processes [15.108333340471034]
あらゆる微分方程式をガウス過程に統合できる枠組みを提案する。
本手法は,シミュレーションと実世界の応用の両方において,バニラGPの改善を示す。
論文 参考訳(メタデータ) (2022-02-24T19:02:14Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳(メタデータ) (2022-02-07T17:47:46Z) - Learning ODEs via Diffeomorphisms for Fast and Robust Integration [40.52862415144424]
微分可能な解法はニューラルネットワークの学習の中心である。
本稿では,データからODEを学習するための代替手法を提案する。
学習したODEと勾配を統合する場合、最大2桁の改善を観測する。
論文 参考訳(メタデータ) (2021-07-04T14:32:16Z) - Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。
バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。
従来のPDEソルバに比べて最大3桁高速である。
論文 参考訳(メタデータ) (2020-10-18T00:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。