論文の概要: AC-PKAN: Attention-Enhanced and Chebyshev Polynomial-Based Physics-Informed Kolmogorov-Arnold Networks

• arxiv url: http://arxiv.org/abs/2505.08687v1
• Date: Tue, 13 May 2025 15:46:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.652825
• Title: AC-PKAN: Attention-Enhanced and Chebyshev Polynomial-Based Physics-Informed Kolmogorov-Arnold Networks
• Title（参考訳）: AC-PKAN: Atention-Enhanced and Chebyshev Polynomial based-informed Kolmogorov-Arnold Networks
• Authors: Hangwei Zhang, Zhimu Huang, Yan Wang,
• Abstract要約: 本稿では、弱教師付き物理情報ニューラルネットワーク(PINN)の拡張を構成する新しいアーキテクチャであるAC-PKANを提案する。 本稿では, PINNsFormerなどの最先端モデルよりもAC-PKANの方が一貫して優れ, 適合していることを示す。
• 参考スコア（独自算出の注目度）: 3.6190123930006317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kolmogorov-Arnold Networks (KANs) have recently shown promise for solving partial differential equations (PDEs). Yet their original formulation is computationally and memory intensive, motivating the introduction of Chebyshev Type-I-based KANs (Chebyshev1KANs). Although Chebyshev1KANs have outperformed the vanilla KANs architecture, our rigorous theoretical analysis reveals that they still suffer from rank collapse, ultimately limiting their expressive capacity. To overcome these limitations, we enhance Chebyshev1KANs by integrating wavelet-activated MLPs with learnable parameters and an internal attention mechanism. We prove that this design preserves a full-rank Jacobian and is capable of approximating solutions to PDEs of arbitrary order. Furthermore, to alleviate the loss instability and imbalance introduced by the Chebyshev polynomial basis, we externally incorporate a Residual Gradient Attention (RGA) mechanism that dynamically re-weights individual loss terms according to their gradient norms and residual magnitudes. By jointly leveraging internal and external attention, we present AC-PKAN, a novel architecture that constitutes an enhancement to weakly supervised Physics-Informed Neural Networks (PINNs) and extends the expressive power of KANs. Experimental results from nine benchmark tasks across three domains show that AC-PKAN consistently outperforms or matches state-of-the-art models such as PINNsFormer, establishing it as a highly effective tool for solving complex real-world engineering problems in zero-data or data-sparse regimes. The code will be made publicly available upon acceptance.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) は、最近偏微分方程式(PDE)を解くことを約束している。 しかし、元の定式化は計算とメモリ集約であり、Chebyshev Type-I-based Kans (Chebyshev1KANs) の導入を動機としている。 Chebyshev1KANは、バニラ・カンの建築より優れていますが、厳密な理論分析により、彼らは依然としてランク崩壊に悩まされており、最終的に表現能力が制限されています。 これらの制限を克服するために、ウェーブレット活性化MLPと学習可能なパラメータと内部の注意機構を統合することで、チェビシェフ1KANを強化する。 この設計は、フルランクのヤコビアンを保ち、任意の順序のPDEに対する解を近似することができることを証明している。 さらに、チェビシェフ多項式基底によって導入された損失不安定性と不均衡を緩和するために、各損失項を勾配ノルムと残留等級に応じて動的に再重み付けする残留勾配注意(RGA)機構を外部に組み込む。 本稿では、内部と外部の注意を共同で活用することにより、弱い教師付き物理情報ニューラルネットワーク(PINN)の強化と、kanの表現力の拡張を実現する新しいアーキテクチャであるAC-PKANを提案する。 3つの領域にわたる9つのベンチマークタスクによる実験結果から、AC-PKANはPINNsFormerのような最先端モデルよりも一貫して優れ、一致しており、ゼロデータやデータスパースレシエーションにおける複雑な現実世界のエンジニアリング問題を解決するための非常に効果的なツールとして確立されている。 コードは受理時に公開されます。

関連論文リスト

• InvFussion: Bridging Supervised and Zero-shot Diffusion for Inverse Problems [76.39776789410088]
  この研究は、教師付きアプローチの強いパフォーマンスとゼロショットメソッドの柔軟性を組み合わせたフレームワークを導入している。 新規なアーキテクチャ設計では、分解演算子を直接デノイザにシームレスに統合する。 FFHQとImageNetデータセットの実験結果は、最先端の後方サンプリング性能を示している。
  論文  参考訳（メタデータ） (2025-04-02T12:40:57Z)
• Can KAN CANs? Input-convex Kolmogorov-Arnold Networks (KANs) as hyperelastic constitutive artificial neural networks (CANs) [0.0]
  ICKANs (ICKANs) を応用し, 多入力弾性法則を学習する。 結果として得られるモデルは、分析関係の明示的な抽出を可能にしている。 ICKANは様々な状態におけるひずみ応力-ひずみの挙動を正確に捉えている。
  論文  参考訳（メタデータ） (2025-03-07T17:42:24Z)
• Chaos into Order: Neural Framework for Expected Value Estimation of Stochastic Partial Differential Equations [0.9944647907864256]
  本稿では,離散化の必要性を排除し,不確実性を明示的にモデル化するSPDE推定のための新しいニューラルネットワークフレームワークを提案する。 これは、SPDEの期待値を直接非分散的に推定できる最初のニューラルネットワークフレームワークであり、科学計算における一歩となる。 本研究は, ニューラルベースSPDEソルバの潜在可能性, 特に従来の手法が不安定な高次元問題に対する可能性を明らかにした。
  論文  参考訳（メタデータ） (2025-02-05T23:27:28Z)
• EPi-cKANs: Elasto-Plasticity Informed Kolmogorov-Arnold Networks Using Chebyshev Polynomials [0.0]
  チェビシェフ型ネットワーク(EPi-cKAN)のエラスト可塑性について述べる。 EPi-cKANは、応力成分の予測に優れた精度を提供し、ブラインド三軸軸対称のひずみ制御荷重経路下での砂弾塑性挙動の予測に使用する場合、より良い精度を示す。
  論文  参考訳（メタデータ） (2024-10-12T16:01:38Z)
• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• Smooth Kolmogorov Arnold networks enabling structural knowledge representation [0.0]
  Kolmogorov-Arnold Networks (KAN) は、従来のマルチ層パーセプトロン(MLP)アーキテクチャに代わる、効率的かつ解釈可能な代替手段を提供する。 固有の構造的知識を活用することで、カンは訓練に必要なデータを減らすことができ、幻覚的予測を発生させるリスクを軽減することができる。
  論文  参考訳（メタデータ） (2024-05-18T15:27:14Z)
• Chebyshev Polynomial-Based Kolmogorov-Arnold Networks: An Efficient Architecture for Nonlinear Function Approximation [0.0]
  本稿では,Chebyshev Kolmogorov-Arnoldの定理に触発された新しいニューラルネットワークアーキテクチャであるChebyshev Kolmogorov-Arnold Networkについて述べる。 ネットワークのエッジ上でChebyshevによってパラメータ化された学習可能な関数を利用することで、Chebyshev Kansは関数近似タスクの柔軟性、効率、解釈性を向上させる。
  論文  参考訳（メタデータ） (2024-05-12T07:55:43Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
  本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
  論文  参考訳（メタデータ） (2022-10-14T15:01:32Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。