論文の概要: asKAN: Active Subspace embedded Kolmogorov-Arnold Network

• arxiv url: http://arxiv.org/abs/2504.04669v2
• Date: Wed, 09 Apr 2025 08:34:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 16:14:47.543927
• Title: asKAN: Active Subspace embedded Kolmogorov-Arnold Network
• Title（参考訳）: asKAN: Kolmogorov-Arnold Network のアクティブサブスペース
• Authors: Zhiteng Zhou, Zhaoyue Xu, Yi Liu, Shizhao Wang,
• Abstract要約: Kolmogorov-Arnold Network (KAN)は、小規模AI+Scienceアプリケーションのための有望なニューラルネットワークアーキテクチャとして登場した。 本研究では、コルモゴロフ・アルノルドの定理のレンズを通して、この非フレキシビリティを研究する。 本稿では,Kanの関数表現をアクティブな部分空間方法論と相乗化する階層的フレームワークである,アクティブな部分空間埋め込みkanを提案する。
• 参考スコア（独自算出の注目度）: 2.408451825799214
• License:
• Abstract: The Kolmogorov-Arnold Network (KAN) has emerged as a promising neural network architecture for small-scale AI+Science applications. However, it suffers from inflexibility in modeling ridge functions, which is widely used in representing the relationships in physical systems. This study investigates this inflexibility through the lens of the Kolmogorov-Arnold theorem, which starts the representation of multivariate functions from constructing the univariate components rather than combining the independent variables. Our analysis reveals that incorporating linear combinations of independent variables can substantially simplify the network architecture in representing the ridge functions. Inspired by this finding, we propose active subspace embedded KAN (asKAN), a hierarchical framework that synergizes KAN's function representation with active subspace methodology. The architecture strategically embeds active subspace detection between KANs, where the active subspace method is used to identify the primary ridge directions and the independent variables are adaptively projected onto these critical dimensions. The proposed asKAN is implemented in an iterative way without increasing the number of neurons in the original KAN. The proposed method is validated through function fitting, solving the Poisson equation, and reconstructing sound field. Compared with KAN, asKAN significantly reduces the error using the same network architecture. The results suggest that asKAN enhances the capability of KAN in fitting and solving equations in the form of ridge functions.
• Abstract（参考訳）: Kolmogorov-Arnold Network (KAN)は、小規模AI+Scienceアプリケーションのための有望なニューラルネットワークアーキテクチャとして登場した。 しかし、物理系の関係を表現するために広く使われているリッジ関数をモデル化する際の柔軟性に悩まされている。 本研究では、独立変数を合成するのではなく、単変量成分を構成することから多変量関数の表現を開始するコルモゴロフ・アルノルドの定理のレンズを通して、この非フレキシブル性について検討する。 解析の結果,独立変数の線形結合を組み込むことで,リッジ関数を表現するネットワークアーキテクチャを大幅に単純化できることが判明した。 この発見に触発されて,機能表現をアクティブな部分空間方法論と相乗化する階層的フレームワークである,アクティブな部分空間埋め込み(asKAN)を提案する。 このアーキテクチャは、カン間のアクティブな部分空間検出を戦略的に埋め込んでおり、そこではアクティブな部分空間法を用いて一次リッジ方向を識別し、独立変数はこれらの臨界次元に適応的に投影される。 提案した asKAN は、元のkan のニューロン数を増やすことなく反復的に実装される。 提案手法は,関数フィッティング,ポアソン方程式の解法,音場再構成によって検証される。 Kanと比較すると、asKANは同じネットワークアーキテクチャを使ってエラーを大幅に削減する。 その結果,AsKANはリッジ関数の形での方程式のフィッティングと解法におけるkanの能力を高めることが示唆された。

関連論文リスト

• Learning Identifiable Structures Helps Avoid Bias in DNN-based Supervised Causal Learning [56.22841701016295]
  Supervised Causal Learning (SCL)はこの分野で新興パラダイムである。 既存のディープニューラルネットワーク(DNN)ベースの手法では、"Node-Edgeアプローチ"が一般的である。
  論文  参考訳（メタデータ） (2025-02-15T19:10:35Z)
• A Survey on Kolmogorov-Arnold Network [0.0]
  Kolmogorov-Arnold Networks(KAN)の理論的基礎、進化、応用、そして将来の可能性 Kanは、固定活性化関数の代わりに学習可能なスプラインパラメータ化関数を使用することで、従来のニューラルネットワークと区別する。 本稿では,最近のニューラルアーキテクチャにおけるkanの役割を強調し,データ集約型アプリケーションにおける計算効率,解釈可能性,拡張性を改善するための今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-11-09T05:54:17Z)
• Neural Control Variates with Automatic Integration [49.91408797261987]
  本稿では,任意のニューラルネットワークアーキテクチャから学習可能なパラメトリック制御関数を構築するための新しい手法を提案する。 我々はこのネットワークを用いて積分器の反微分を近似する。 我々はウォーク・オン・スフィア・アルゴリズムを用いて偏微分方程式を解くために本手法を適用した。
  論文  参考訳（メタデータ） (2024-09-23T06:04:28Z)
• Activation Space Selectable Kolmogorov-Arnold Networks [29.450377034478933]
  非線形加法接続に基づくKAN(Kolmogorov-Arnold Network)はセレクト法に匹敵する性能を発揮することが証明されている。 このような可能性にもかかわらず、単一のアクティベーション関数空間を使用すると、kanの性能が低下し、関連するタスクが異なる。 この研究は、新しいAIのデータ中心設計の理解に寄与し、kanベースのネットワークアーキテクチャにおけるイノベーションの基礎となる参照を提供する。
  論文  参考訳（メタデータ） (2024-08-15T11:34:05Z)
• Rethinking the Function of Neurons in KANs [1.223779595809275]
  コルモゴロフ・アルノルドネットワーク(KAN)のニューロンは、コルモゴロフ・アルノルド表現定理によって動機付けられた単純な和を実行する。 本研究では,KANニューロンに対する代替多変量関数の同定の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-30T09:04:23Z)
• Chebyshev Polynomial-Based Kolmogorov-Arnold Networks: An Efficient Architecture for Nonlinear Function Approximation [0.0]
  本稿では,Chebyshev Kolmogorov-Arnoldの定理に触発された新しいニューラルネットワークアーキテクチャであるChebyshev Kolmogorov-Arnold Networkについて述べる。 ネットワークのエッジ上でChebyshevによってパラメータ化された学習可能な関数を利用することで、Chebyshev Kansは関数近似タスクの柔軟性、効率、解釈性を向上させる。
  論文  参考訳（メタデータ） (2024-05-12T07:55:43Z)
• Solution space and storage capacity of fully connected two-layer neural networks with generic activation functions [0.552480439325792]
  二項分類モデルの記憶容量は、モデルが学習できるパラメータ毎のランダムな入出力ペアの最大数である。 一般活性化機能を持つ完全連結二層ニューラルネットワークの解空間の構造と記憶容量を解析する。
  論文  参考訳（メタデータ） (2024-04-20T15:12:47Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Deep Archimedean Copulas [98.96141706464425]
  ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。 我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
  論文  参考訳（メタデータ） (2020-12-05T22:58:37Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。