論文の概要: Towards Deep Physics-Informed Kolmogorov-Arnold Networks
- arxiv url: http://arxiv.org/abs/2510.23501v1
- Date: Mon, 27 Oct 2025 16:35:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 17:41:22.02524
- Title: Towards Deep Physics-Informed Kolmogorov-Arnold Networks
- Title(参考訳): Deep Physics-Informed Kolmogorov-Arnold Networksに向けて
- Authors: Spyros Rigas, Fotios Anagnostopoulos, Michalis Papachristou, Georgios Alexandridis,
- Abstract要約: チェビシェフをベースとした物理学インフォームドカン(cPIKAN)がその計算効率の点で標準となっている。
本稿では,アクティベーションのばらつきを保ち,安定性と精度を大幅に向上させる,基礎に依存しないグロトン様のスキームを提案する。
PirateNetアーキテクチャにヒントを得たResidual-Gated Adaptive Kans(RGAkans)を紹介する。
RGAkansは,特定のPDE設定において拡散相に停滞するベースラインcPIKANsと異なり,すべてのトレーニングフェーズを横断することに成功した。
- 参考スコア(独自算出の注目度): 4.725935825821886
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since their introduction, Kolmogorov-Arnold Networks (KANs) have been successfully applied across several domains, with physics-informed machine learning (PIML) emerging as one of the areas where they have thrived. In the PIML setting, Chebyshev-based physics-informed KANs (cPIKANs) have become the standard due to their computational efficiency. However, like their multilayer perceptron-based counterparts, cPIKANs face significant challenges when scaled to depth, leading to training instabilities that limit their applicability to several PDE problems. To address this, we propose a basis-agnostic, Glorot-like initialization scheme that preserves activation variance and yields substantial improvements in stability and accuracy over the default initialization of cPIKANs. Inspired by the PirateNet architecture, we further introduce Residual-Gated Adaptive KANs (RGA KANs), designed to mitigate divergence in deep cPIKANs where initialization alone is not sufficient. Through empirical tests and information bottleneck analysis, we show that RGA KANs successfully traverse all training phases, unlike baseline cPIKANs, which stagnate in the diffusion phase in specific PDE settings. Evaluations on seven standard forward PDE benchmarks under a fixed training pipeline with adaptive components demonstrate that RGA KANs consistently outperform parameter-matched cPIKANs and PirateNets - often by several orders of magnitude - while remaining stable in settings where the others diverge.
- Abstract(参考訳): 導入以来、Kolmogorov-Arnold Networks (KAN) はいくつかの領域にまたがってうまく適用されてきた。
PIML設定では、Chebyshevベースの物理学インフォームド・カン(cPIKAN)がその計算効率のために標準となっている。
しかし、その多層パーセプトロンベースのものと同様に、cPIKANは深さまでスケールする際の重大な課題に直面しており、いくつかのPDE問題に適用性を制限する訓練の不安定性につながっている。
そこで本研究では, アクティベーションのばらつきを保ち, cPIKAN のデフォルト初期化よりも安定性と精度を大幅に向上させる, 基本に依存しない, グロトン様初期化方式を提案する。
PirateNetアーキテクチャにインスパイアされたResidual-Gated Adaptive Kans(RGAkans)は,初期化だけでは不十分な深部cPIKANにおける分散を緩和する。
実験的なテストと情報ボトルネック解析により,RGAkansは,特定のPDE設定において拡散相に停滞するベースラインcPIKANsと異なり,すべてのトレーニングフェーズを横断することに成功した。
適応的なコンポーネントを備えた固定トレーニングパイプライン下での7つの標準PDEベンチマークの評価は、RGAkansがパラメータマッチングされたcPIKANとPirateNets(多くの場合、数桁の規模で)を一貫して上回り、他が分岐する設定では安定していることを示している。
関連論文リスト
- AC-PKAN: Attention-Enhanced and Chebyshev Polynomial-Based Physics-Informed Kolmogorov-Arnold Networks [3.6190123930006317]
本稿では、弱教師付き物理情報ニューラルネットワーク(PINN)の拡張を構成する新しいアーキテクチャであるAC-PKANを提案する。
本稿では, PINNsFormerなどの最先端モデルよりもAC-PKANの方が一貫して優れ, 適合していることを示す。
論文 参考訳(メタデータ) (2025-05-13T15:46:10Z) - Mitigating Barren Plateaus in Quantum Neural Networks via an AI-Driven Submartingale-Based Framework [3.0617189749929348]
量子ニューラルネットワーク(QNN)におけるバレンプラトー(BP)の緩和を目的としたAdaInitを提案する。
AdaInitは、非無視的な勾配分散をもたらすQNNの初期パラメータを反復的に合成し、BPを緩和する。
AdaInit が様々な QNN スケールで高い勾配分散を維持するために既存の手法を一貫して上回っていることを実証的に検証する。
論文 参考訳(メタデータ) (2025-02-17T05:57:15Z) - Adaptive Training of Grid-Dependent Physics-Informed Kolmogorov-Arnold Networks [4.216184112447278]
物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための堅牢なフレームワークとして登場した。
本稿では、PDEを解くために、グリッド依存のKolmogorov-Arnold Networks(PIKAN)の高速なJAXベースの実装を提案する。
適応的特徴は解の精度を著しく向上させ,基準解に対するL2誤差を最大43.02%減少させることを示した。
論文 参考訳(メタデータ) (2024-07-24T19:55:08Z) - RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。
本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。
実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
論文 参考訳(メタデータ) (2024-05-23T09:45:57Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z) - A Gaussian Process Framework for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations [0.0]
非線形PDEシステムを解くためにカーネル法とディープNNの長所を統合するためにカーネル重み付き補正残差(CoRes)を導入する。
CoResは幅広いベンチマーク問題の解決において競合する手法を一貫して上回っている。
我々はPDEの解決にカーネル手法を活用することに新たな関心を喚起する可能性があると考えている。
論文 参考訳(メタデータ) (2024-01-07T14:09:42Z) - PhyCRNet: Physics-informed Convolutional-Recurrent Network for Solving
Spatiotemporal PDEs [8.220908558735884]
偏微分方程式 (Partial differential equation, PDE) は、幅広い分野の問題をモデル化し、シミュレーションする上で基礎的な役割を果たす。
近年のディープラーニングの進歩は、データ駆動逆解析の基盤としてPDEを解くために物理学インフォームドニューラルネットワーク(NN)の大きな可能性を示している。
本稿では,PDEをラベル付きデータなしで解くための物理インフォームド・畳み込み学習アーキテクチャ(PhyCRNetとPhCRyNet-s)を提案する。
論文 参考訳(メタデータ) (2021-06-26T22:22:19Z) - Recent Developments Combining Ensemble Smoother and Deep Generative
Networks for Facies History Matching [58.720142291102135]
本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。
本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
論文 参考訳(メタデータ) (2020-05-08T21:32:42Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳(メタデータ) (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。