論文の概要: KAN-ODEs: Kolmogorov-Arnold Network Ordinary Differential Equations for Learning Dynamical Systems and Hidden Physics
- arxiv url: http://arxiv.org/abs/2407.04192v1
- Date: Fri, 5 Jul 2024 00:38:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 14:50:59.590350
- Title: KAN-ODEs: Kolmogorov-Arnold Network Ordinary Differential Equations for Learning Dynamical Systems and Hidden Physics
- Title（参考訳）: Kan-ODEs: Kolmogorov-Arnold Network Ordinary Differential Equations for Learning Dynamical Systems and Hidden Physics
- Authors: Benjamin C. Koenig, Suyong Kim, Sili Deng,
- Abstract要約: Kolmogorov-Arnold Networks (KAN) は多層パーセプトロン(MLP)の代替品である
多層パーセプトロン(MLP)の代替としてのカン
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Kolmogorov-Arnold Networks (KANs) as an alternative to Multi-layer perceptrons (MLPs) are a recent development demonstrating strong potential for data-driven modeling. This work applies KANs as the backbone of a Neural Ordinary Differential Equation framework, generalizing their use to the time-dependent and grid-sensitive cases often seen in scientific machine learning applications. The proposed KAN-ODEs retain the flexible dynamical system modeling framework of Neural ODEs while leveraging the many benefits of KANs, including faster neural scaling, stronger interpretability, and lower parameter counts when compared against MLPs. We demonstrate these benefits in three test cases: the Lotka-Volterra predator-prey model, Burgers' equation, and the Fisher-KPP PDE. We showcase the strong performance of parameter-lean KAN-ODE systems generally in reconstructing entire dynamical systems, and also in targeted applications to the inference of a source term in an otherwise known flow field. We additionally demonstrate the interpretability of KAN-ODEs via activation function visualization and symbolic regression of trained results. The successful training of KAN-ODEs and their improved performance when compared to traditional Neural ODEs implies significant potential in leveraging this novel network architecture in myriad scientific machine learning applications.
- Abstract（参考訳）: マルチ層パーセプトロン(MLP)の代替としてKAN(Kolmogorov-Arnold Networks)は、データ駆動モデリングの強力な可能性を示す最近の開発である。
この研究は、KANSAをニューラルネットワークの正規微分方程式フレームワークのバックボーンとして適用し、科学的な機械学習応用でよく見られる時間依存およびグリッド依存のケースにその使用を一般化する。
提案したkan-ODEは、より高速なニューラルスケーリング、より強力な解釈可能性、MLPと比較した場合のパラメータ数など、Kansの多くの利点を活用しながら、Neural ODEのフレキシブルな動的システムモデリングフレームワークを維持している。
これらの利点は、ロトカ・ボルテラ捕食者・捕食者・捕食者・捕食者モデル、バーガースの方程式、フィッシャー・KPP PDEの3つのテストケースで示される。
本稿では, パラメータ型kan-ODEシステムにおいて, 一般に動的システム全体を再構築する上での強い性能と, その他の流れ場におけるソース項の推論への応用について述べる。
また, アクティベーション関数の可視化と学習結果のシンボリックレグレッションにより, KAN-ODEの解釈可能性を示す。
Kan-ODEsのトレーニングの成功と、従来のNeural ODEsと比較してパフォーマンスが向上したことは、この新しいネットワークアーキテクチャを無数の科学機械学習応用に活用する大きな可能性を示唆している。
関連論文リスト
- A Survey on Kolmogorov-Arnold Network [0.0]
Kolmogorov-Arnold Networks(KAN)の理論的基礎、進化、応用、そして将来の可能性
Kanは、固定活性化関数の代わりに学習可能なスプラインパラメータ化関数を使用することで、従来のニューラルネットワークと区別する。
本稿では,最近のニューラルアーキテクチャにおけるkanの役割を強調し,データ集約型アプリケーションにおける計算効率,解釈可能性,拡張性を改善するための今後の方向性を概説する。
論文 参考訳（メタデータ） (2024-11-09T05:54:17Z) - ControlSynth Neural ODEs: Modeling Dynamical Systems with Guaranteed Convergence [1.1720409777196028]
ニューラルネットワーク(NODE)は、時間間隔の制限なしにデータを処理できる連続時間ニューラルネットワーク(NN)である。
非常に非線形な性質にもかかわらず、収束はトラクタブル線型不等式によって保証されることを示す。
CSODEの合成において、異なるスケールで動的に同時に捕捉される可能性について学習するための余分な制御項を導入する。
論文 参考訳（メタデータ） (2024-11-04T17:20:42Z) - Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
論文 参考訳（メタデータ） (2024-09-05T18:14:22Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - Learning Neural Constitutive Laws From Motion Observations for
Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。
PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。
そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2023-04-27T17:42:24Z) - Neural Modal ODEs: Integrating Physics-based Modeling with Neural ODEs
for Modeling High Dimensional Monitored Structures [9.065343126886093]
本稿では、物理に基づくモデリングとディープラーニングを統合するためのフレームワーク、Neural Modal ODEを提案する。
オートエンコーダは、観測データの最初の数項目から潜伏変数の初期値までの抽象的なマッピングを学習する。
提案モデルの復号器は, 線形化部分に適用された固有解析から導出した固有モードを物理モデルに適用する。
論文 参考訳（メタデータ） (2022-07-16T09:30:20Z) - Learning POD of Complex Dynamics Using Heavy-ball Neural ODEs [7.388910452780173]
我々は、最近提案されたヘビーボールニューラルODE(HBNODE)を用いて、データ駆動の低次モデルの学習を行う。
HBNODEは、理論的保証付きPODベースのROMを学習する上で、いくつかの実用的な利点がある。
論文 参考訳（メタデータ） (2022-02-24T22:00:25Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Constructing Neural Network-Based Models for Simulating Dynamical
Systems [59.0861954179401]
データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。
本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。
基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
論文 参考訳（メタデータ） (2021-11-02T10:51:42Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳（メタデータ） (2021-06-24T01:40:17Z) - DyNODE: Neural Ordinary Differential Equations for Dynamics Modeling in
Continuous Control [0.0]
本稿では,ニューラル常微分方程式の枠組みに制御を組み込むことにより,システムの基盤となる力学を捉える新しい手法を提案する。
以上の結果から,アクター批判強化学習アルゴリズムと組み合わせた単純なDyNODEアーキテクチャが,標準ニューラルネットワークより優れていることが示唆された。
論文 参考訳（メタデータ） (2020-09-09T12:56:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。