Fugu-MT 論文翻訳(概要): A comprehensive and FAIR comparison between MLP and KAN representations for differential equations and operator networks

論文の概要: A comprehensive and FAIR comparison between MLP and KAN representations for differential equations and operator networks

arxiv url: http://arxiv.org/abs/2406.02917v1
Date: Wed, 5 Jun 2024 04:10:36 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 22:05:49.111445
Title: A comprehensive and FAIR comparison between MLP and KAN representations for differential equations and operator networks
Title（参考訳）: 微分方程式と演算子ネットワークに対するMLPとkan表現の包括的およびFAIR比較
Authors: Khemraj Shukla, Juan Diego Toscano, Zhicheng Wang, Zongren Zou, George Em Karniadakis,
Abstract要約: Kolmogorov-Arnold Networks (KAN) は、最近標準表現モデルに代わる表現モデルとして導入された。そこで我々はkansを用いて機械学習モデル(PIKAN)とDeep operatorモデル(DeepokaN)を構築し、前方および逆問題に対する微分方程式を解く。
参考スコア（独自算出の注目度）: 8.573300153709358
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Kolmogorov-Arnold Networks (KANs) were recently introduced as an alternative representation model to MLP. Herein, we employ KANs to construct physics-informed machine learning models (PIKANs) and deep operator models (DeepOKANs) for solving differential equations for forward and inverse problems. In particular, we compare them with physics-informed neural networks (PINNs) and deep operator networks (DeepONets), which are based on the standard MLP representation. We find that although the original KANs based on the B-splines parameterization lack accuracy and efficiency, modified versions based on low-order orthogonal polynomials have comparable performance to PINNs and DeepONet although they still lack robustness as they may diverge for different random seeds or higher order orthogonal polynomials. We visualize their corresponding loss landscapes and analyze their learning dynamics using information bottleneck theory. Our study follows the FAIR principles so that other researchers can use our benchmarks to further advance this emerging topic.
Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) はMLPの代替表現モデルとして最近導入された。本稿では, 物理インフォームド機械学習モデル (PIKAN) とディープ演算子モデル (DeepokaN) を構築し, 前方および逆問題に対する微分方程式を解く。特に,物理インフォームドニューラルネットワーク (PINN) とディープオペレータネットワーク (DeepONets) を比較する。 B-splinesパラメタライゼーションに基づく元のkanは精度と効率に欠けるが、低次直交多項式に基づく修正版はPINNやDeepONetと同等の性能を持つが、異なるランダムシードや高次直交多項式に分岐する可能性があるため、ロバスト性に欠ける。我々は,それらの損失景観を可視化し,情報ボトルネック理論を用いて学習動態を解析する。我々の研究は、FAIRの原則に従って、他の研究者が我々のベンチマークを使って、この新たなトピックをさらに前進させることができるようにしている。

関連論文リスト

A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks [43.70716358136333]
Kolmogorov-Networks (KAN) は基本的に異なる数学的枠組みに基づいている。 Kansは継続的学習シナリオの忘れなど,いくつかの大きな問題に対処している。コンピュータビジョンにおける連続的な学習課題における感性の評価によって調査を拡大する。
論文参考訳（メタデータ） (2024-09-20T14:49:21Z)
Component Fourier Neural Operator for Singularly Perturbed Differential Equations [3.9482103923304877]
Singularly Perturbed Differential Equations (SPDE) の解法は、薄い領域における解の急激な遷移に起因する計算上の問題を引き起こす。本稿では、フーリエニューラル演算子(FNO)に基づく革新的な演算子学習法であるComFNOを紹介する。私たちのアプローチはFNOに限らず、Deep Operator Network(DeepONet)など他のニューラルネットワークフレームワークにも適用可能です。
論文参考訳（メタデータ） (2024-09-07T09:40:51Z)
A practical existence theorem for reduced order models based on convolutional autoencoders [0.4604003661048266]
部分微分方程式 (PDE) と還元次数モデリング (ROM) の分野ではディープラーニングが人気を博している。 CNNベースのオートエンコーダは、複雑な非線形問題に対処する際、低基底法などの確立された手法よりも極めて効果的であることが証明されている。パラメーター対解写像が正則である場合、CNNベースの自己エンコーダに対して新しい実用的存在定理を提供する。
論文参考訳（メタデータ） (2024-02-01T09:01:58Z)
RBF-MGN:Solving spatiotemporal PDEs with Physics-informed Graph Neural Network [4.425915683879297]
グラフニューラルネットワーク(GNN)とラジアル基底関数有限差分(RBF-FD)に基づく新しいフレームワークを提案する。 RBF-FDはモデルトレーニングを導くために微分方程式の高精度差分形式を構築するために用いられる。提案アルゴリズムの一般化可能性,精度,効率性を,異なるPDEパラメータで説明する。
論文参考訳（メタデータ） (2022-12-06T10:08:02Z)
Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
論文参考訳（メタデータ） (2022-10-14T15:01:32Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
論文参考訳（メタデータ） (2020-09-21T16:32:04Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できるこのモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文参考訳（メタデータ） (2020-03-13T13:11:35Z)
Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文参考訳（メタデータ） (2020-02-20T15:43:02Z)
A deep learning framework for solution and discovery in solid mechanics [1.4699455652461721]
本稿では,物理情報ニューラルネットワーク(PINN)と呼ばれるディープラーニングのクラスを,固体力学の学習と発見に応用する。本稿では, 運動量バランスと弾性の関係をPINNに組み込む方法について解説し, 線形弾性への応用について詳細に検討する。
論文参考訳（メタデータ） (2020-02-14T08:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。