論文の概要: Posterior Contraction for Sparse Neural Networks in Besov Spaces with Intrinsic Dimensionality

• arxiv url: http://arxiv.org/abs/2506.19144v1
• Date: Mon, 23 Jun 2025 21:29:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.400017
• Title: Posterior Contraction for Sparse Neural Networks in Besov Spaces with Intrinsic Dimensionality
• Title（参考訳）: 固有次元を持つベソフ空間におけるスパースニューラルネットワークの後方収縮
• Authors: Kyeongwon Lee, Lizhen Lin, Jaewoo Park, Seonghyun Jeong,
• Abstract要約: この研究は、スパースベイズニューラルネットワークが異方性ベソフ空間とその階層的構成に対して最適な後部収縮率を達成することを証明している。 これらの先行は, 真の関数の滑らか度が未知であっても, 後部を最適速度で収縮させることにより, レート適応を可能にすることを示す。
• 参考スコア（独自算出の注目度）: 8.411295657303324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work establishes that sparse Bayesian neural networks achieve optimal posterior contraction rates over anisotropic Besov spaces and their hierarchical compositions. These structures reflect the intrinsic dimensionality of the underlying function, thereby mitigating the curse of dimensionality. Our analysis shows that Bayesian neural networks equipped with either sparse or continuous shrinkage priors attain the optimal rates which are dependent on the intrinsic dimension of the true structures. Moreover, we show that these priors enable rate adaptation, allowing the posterior to contract at the optimal rate even when the smoothness level of the true function is unknown. The proposed framework accommodates a broad class of functions, including additive and multiplicative Besov functions as special cases. These results advance the theoretical foundations of Bayesian neural networks and provide rigorous justification for their practical effectiveness in high-dimensional, structured estimation problems.
• Abstract（参考訳）: この研究は、スパースベイズニューラルネットワークが異方性ベソフ空間とその階層的構成に対して最適な後部収縮率を達成することを証明している。 これらの構造は、根底にある関数の本質的な次元性を反映し、従って次元性の呪いを緩和する。 解析の結果,疎縮あるいは連続収縮の先行したベイズニューラルネットワークは,真の構造の内在次元に依存する最適速度を達成できることがわかった。 さらに,これらの先行条件により,真の関数の滑らか度が未知であっても,後部を最適速度で収縮させることができることを示す。 提案したフレームワークは、特殊ケースとして加法的および乗法的ベソフ関数を含む、幅広い種類の関数に対応している。 これらの結果はベイズニューラルネットワークの理論的基礎を前進させ、高次元構造推定問題においてその実用性に対する厳密な正当化を与える。

関連論文リスト

• Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks [78.11734286268455]
  非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。 我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
  論文  参考訳（メタデータ） (2023-07-04T11:08:03Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks [3.222802562733787]
  本稿では、ReLUと$x2$の両方を活性化関数として使用するニューラルネットワークの特性について検討する。 いくつかの文脈において、低局所次元を利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似値を得る方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T17:29:19Z)
• Asymptotic Properties for Bayesian Neural Network in Besov Space [1.90365714903665]
  スパイク・アンド・スラブの事前整合性を用いたベイズニューラルネットワークは, 真の回帰関数がベソフ空間にある場合, ほぼ最小収束率を有することを示す。 保証された特性を持つ実用的なニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-01T05:47:06Z)
• Pricing options on flow forwards by neural networks in Hilbert space [0.0]
  我々は、正の実数直線上の実値関数のヒルベルト空間において、価格問題を最適化問題として再考する。 この最適化問題は、新しいフィードフォワードニューラルネットワークアーキテクチャを容易にすることで解決される。
  論文  参考訳（メタデータ） (2022-02-17T18:03:51Z)
• Bayesian neural network priors for edge-preserving inversion [3.2046720177804646]
  重み付きニューラルネットワークの出力に基づく事前分布のクラスを導入する。 ネットワーク幅が有限である場合でも,そのような先行する標本は不連続な性質が望ましいことを理論的に示す。
  論文  参考訳（メタデータ） (2021-12-20T16:39:05Z)
• Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical Guarantees and Implementation Details [0.5156484100374059]
  スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。 本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。 本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
  論文  参考訳（メタデータ） (2021-08-25T00:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。