論文の概要: Posterior Contraction Rates for Sparse Kolmogorov-Arnold Networks in Anisotropic Besov Spaces

• arxiv url: http://arxiv.org/abs/2605.11652v1
• Date: Tue, 12 May 2026 07:14:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.655822
• Title: Posterior Contraction Rates for Sparse Kolmogorov-Arnold Networks in Anisotropic Besov Spaces
• Title（参考訳）: 異方性ベソフ空間におけるスパースコルモゴロフ・アルノルドネットワークの後方収縮速度
• Authors: Jeunghun Oh, Kyeongwon Lee, Jaeyong Lee, Lizhen Lin,
• Abstract要約: スパイク・アンド・スラブ型スペーサーを有するスパルスベイズカンが, ほぼ最小の後方収縮を達成できることを示す。 特に収縮速度は、下層の関数の内在的な異方的滑らかさに依存する。
• 参考スコア（独自算出の注目度）: 4.687937508271486
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We study posterior contraction rates for sparse Bayesian Kolmogorov-Arnold networks (KANs) over anisotropic Besov spaces, providing a statistical foundation of KANs from a Bayesian point of view. We show that sparse Bayesian KANs equipped with spike-and-slab-type sparsity priors attain the near-minimax posterior contraction. In particular, the contraction rate depends on the intrinsic anisotropic smoothness of the underlying function. Moreover, by placing a hyperprior on a single model-size parameter, the resulting posterior adapts to unknown anisotropic smoothness and still achieves the corresponding near-minimax rate. A distinctive feature of our results, compared with those for standard sparse MLP-based models, is that the KAN depth can be kept fixed: owing to the flexibility of learnable spline edge functions, the required approximation complexity is controlled through the network width, spline-grid range and size, and parameter sparsity. Our analysis develops theoretical tools tailored to sparse spline-edge architectures, including approximation and complexity bounds for Bayesian KANs. We then extend to compositional Besov spaces and show that the contraction rates depend on layerwise smoothness and effective dimension of the underlying compositional structure, thereby effectively avoiding the curse of dimensionality. Together, the developed tools and findings advance the theoretical understanding of Bayesian neural networks and provide rigorous statistical foundations for KANs.
• Abstract（参考訳）: 我々は、疎ベイズ的コルモゴロフ・アルノルドネットワーク(KAN)の異方性ベソフ空間上の後部収縮率について検討し、ベイズ的観点からのカンスの統計的基礎を提供する。 スパイク・アンド・スラブ型スペーサーを有するスパルスベイズカンが, ほぼ最小の後方収縮を達成できることを示す。 特に収縮速度は、下層の関数の内在的な異方的滑らかさに依存する。 さらに、1つのモデルサイズパラメータにハイパープリンダーを配置することで、結果として得られる後続は未知の異方性な滑らかさに適応し、なおも対応する近接最小速度を達成する。 学習可能なスプラインエッジ関数の柔軟性により,ネットワーク幅,スプライングリッド範囲とサイズ,パラメータ空間の幅など,必要な近似複雑性が制御される。 ベイズカンの近似や複雑性境界など,スプラインエッジアーキテクチャのスパースに適した理論ツールを開発した。 次に、構成的ベソフ空間に拡張し、縮退速度が基礎となる構成構造の階層的滑らかさと有効次元に依存していることを示し、それによって次元の呪いを効果的に回避する。 発達したツールと発見は、ベイズニューラルネットワークの理論的理解を前進させ、カンに厳密な統計基盤を提供する。

関連論文リスト

• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• Posterior Contraction for Sparse Neural Networks in Besov Spaces with Intrinsic Dimensionality [12.055886881947577]
  この研究は、スパースベイズニューラルネットワークが異方性ベソフ空間とその階層的構成に対して最適な後部収縮率を達成することを証明している。 これらの先行は, 真の関数の滑らか度が未知であっても, 後部を最適速度で収縮させることにより, レート適応を可能にすることを示す。
  論文  参考訳（メタデータ） (2025-06-23T21:29:40Z)
• Posterior and variational inference for deep neural networks with heavy-tailed weights [0.0]
  我々は、ネットワーク重みをランダムにサンプリングする事前分布を持つベイズフレームワークにおいて、ディープニューラルネットワークを考察する。 後部分布は, ほぼ最適のミニマックス収縮速度を達成できることを示す。 また, 実験結果の変分ベイズ版も提供し, 平均場変分近似は, ほぼ最適理論的支援の恩恵を受けていることを示した。
  論文  参考訳（メタデータ） (2024-06-05T15:24:20Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
  スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。 構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。 本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-17T17:14:18Z)
• Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
  本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。 サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。 パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
  論文  参考訳（メタデータ） (2023-05-30T19:16:44Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。