論文の概要: Scalable and Interpretable Scientific Discovery via Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
- arxiv url: http://arxiv.org/abs/2512.00260v1
- Date: Sat, 29 Nov 2025 00:48:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.137399
- Title: Scalable and Interpretable Scientific Discovery via Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
- Title(参考訳): Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP Kan)によるスケーラブルで解釈可能な科学的発見
- Authors: Y. Sungtaek Ju,
- Abstract要約: Kolmogorov-Arnold Networks (KAN)はMulti-Layer Perceptron (MLP)に代わる有望な代替手段を提供する
カンは確率的な出力を欠き、不確実な定量化を必要とするアプリケーションにおける実用性を制限している。
本稿では,Sparse Variational GP-KANについて紹介する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kolmogorov-Arnold Networks (KANs) offer a promising alternative to Multi-Layer Perceptron (MLP) by placing learnable univariate functions on network edges, enhancing interpretability. However, standard KANs lack probabilistic outputs, limiting their utility in applications requiring uncertainty quantification. While recent Gaussian Process (GP) extensions to KANs address this, they utilize exact inference methods that scale cubically with data size N, restricting their application to smaller datasets. We introduce the Sparse Variational GP-KAN (SVGP-KAN), an architecture that integrates sparse variational inference with the KAN topology. By employing $M$ inducing points and analytic moment matching, our method reduces computational complexity from $O(N^3)$ to $O(NM^2)$ or linear in sample size, enabling the application of probabilistic KANs to larger scientific datasets. Furthermore, we demonstrate that integrating a permutation-based importance analysis enables the network to function as a framework for structural identification, identifying relevant inputs and classifying functional relationships.
- Abstract(参考訳): Kolmogorov-Arnold Networks (KAN)は、学習可能な単変数関数をネットワークエッジに配置し、解釈可能性を高めることで、MLP(Multi-Layer Perceptron)に代わる有望な代替手段を提供する。
しかし、標準のkansは確率的出力を欠き、不確実な定量化を必要とするアプリケーションにおいてその実用性を制限している。
Kans に対する最近の Gaussian Process (GP) 拡張はこれに対処するが、彼らはデータサイズ N と立方的にスケールする正確な推論手法を利用して、アプリケーションをより小さなデータセットに制限している。
本稿では,Sparse Variational GP-KAN(SVGP-KAN)について紹介する。
M$のインジェクションポイントと解析モーメントマッチングを用いることで、計算複雑性を$O(N^3)$から$O(NM^2)$に減らし、より大規模な科学データセットに確率的カンを適用できるようにする。
さらに、置換に基づく重要度分析の統合により、ネットワークは構造的識別、関連する入力の識別、機能的関係の分類のフレームワークとして機能することを示す。
関連論文リスト
- (Sometimes) Less is More: Mitigating the Complexity of Rule-based Representation for Interpretable Classification [1.6504157612470989]
ディープニューラルネットワークはAIの実践的な応用に広く利用されているが、その内部構造と複雑さにより、一般的には容易に解釈できない。
本研究では、論理に基づくニューラルネットワークであるMLLP(Multi-layer Logical Perceptron)に$L_0$正規化の微分可能な近似を適用し、その離散解釈可能なバージョンである概念ルールセット(CRS)の複雑さを低減する効果を研究する。
結果は、ネットワーク重みのランダム二元化のような代替手法と比較され、ノイズの少ない手法を用いて、より良い結果が得られるかどうかが決定される。
論文 参考訳(メタデータ) (2025-09-26T14:13:08Z) - Geometric Neural Process Fields [58.77241763774756]
幾何学的ニューラル・プロセス・フィールド(Geometric Neural Process Fields, G-NPF)は、ニューラル・ラディアンス・フィールドの確率的フレームワークである。
これらの基盤の上に構築された階層型潜在変数モデルにより、G-NPFは複数の空間レベルにまたがる構造情報を統合できる。
3次元シーンと2次元画像と1次元信号レグレッションの新規ビュー合成実験により,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2025-02-04T14:17:18Z) - Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。
本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
論文 参考訳(メタデータ) (2024-10-01T06:34:58Z) - Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
本稿では,PE-GNNと量子ニューラルネットワーク,部分的に単調なニューラルブロック,ポストホックリカレーション技術を組み合わせた新しいフレームワークを提案する。
PE-GQNNは、ターゲット分布に関する最小の仮定で柔軟で堅牢な条件密度推定を可能にし、空間データを超えたタスクに自然に拡張する。
論文 参考訳(メタデータ) (2024-09-27T16:02:12Z) - Scalable Neural Network Kernels [22.299704296356836]
我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。
また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。
我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
論文 参考訳(メタデータ) (2023-10-20T02:12:56Z) - Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。
この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
論文 参考訳(メタデータ) (2022-12-25T15:40:05Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳(メタデータ) (2021-10-28T14:59:41Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。