論文の概要: General Pruning Criteria for Fast SBL
- arxiv url: http://arxiv.org/abs/2509.21572v1
- Date: Thu, 25 Sep 2025 20:52:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 20:57:54.005643
- Title: General Pruning Criteria for Fast SBL
- Title（参考訳）: 高速SBLのための汎用プルーニング基準
- Authors: Jakob Möderl, Erik Leitinger, Bernard Henri Fleury,
- Abstract要約: スパースベイズ学習(SBL)は、各重みがガウス分布でゼロ平均と精度(逆分散)が関連するハイパーパラメータと等しいと仮定して、基底線形モデルの各重みにハイパーパラメータを関連付ける。
ガウスの場合、2つの条件は相補的であり、高速なSBL(F-SBL)のプルーニング条件と一致することが示され、このアルゴリズムについてさらなる知見が得られた。
- 参考スコア（独自算出の注目度）: 4.370097023410272
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse Bayesian learning (SBL) associates to each weight in the underlying linear model a hyperparameter by assuming that each weight is Gaussian distributed with zero mean and precision (inverse variance) equal to its associated hyperparameter. The method estimates the hyperparameters by marginalizing out the weights and performing (marginalized) maximum likelihood (ML) estimation. SBL returns many hyperparameter estimates to diverge to infinity, effectively setting the estimates of the corresponding weights to zero (i.e., pruning the corresponding weights from the model) and thereby yielding a sparse estimate of the weight vector. In this letter, we analyze the marginal likelihood as function of a single hyperparameter while keeping the others fixed, when the Gaussian assumptions on the noise samples and the weight distribution that underlies the derivation of SBL are weakened. We derive sufficient conditions that lead, on the one hand, to finite hyperparameter estimates and, on the other, to infinite ones. Finally, we show that in the Gaussian case, the two conditions are complementary and coincide with the pruning condition of fast SBL (F-SBL), thereby providing additional insights into this algorithm.
- Abstract（参考訳）: スパースベイズ学習(SBL)は、各重みがガウス分布でゼロ平均と精度(逆分散)が関連するハイパーパラメータと等しいと仮定して、基底線形モデルの各重みにハイパーパラメータを関連付ける。
提案手法は,重みを疎外し,最大度(ML)推定を行うことにより,ハイパーパラメータを推定する。
SBLは、多くのハイパーパラメータ推定値を無限大に発散させ、対応するウェイトの推定値をゼロ(すなわち、モデルから対応するウェイトを刈り取る)に効果的に設定し、したがってウェイトベクトルのスパース推定を生成する。
本稿では,ノイズサンプルとSBLの導出を基礎とする重み分布のガウス的仮定が弱まると,その限界を1つのハイパーパラメータの関数として解析する。
他方では、有限ハイパーパラメータ推定に導く十分条件を導出し、他方では無限条件に導出する。
最後に、ガウスの場合、2つの条件は相補的であり、高速なSBL(F-SBL)の刈り取り条件と一致していることを示し、このアルゴリズムについてさらなる知見を提供する。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Multi-parameter quantum estimation of single- and two-mode pure Gaussian
states [0.0]
本研究では, 単モードおよび2モード圧縮状態を特徴付ける変位パラメータとスクイーズパラメータの両方に対して, Holevo Cram'er-Rao bound (HCRB) を導出した。
単モードのシナリオでは、解析的境界を求め、スクイージングが増加するにつれて単調に劣化する。
2モード設定では、スキューズパラメータが大きくなるにつれてHCRBが向上し、二重ホモジン検出により達成できることが示される。
論文 参考訳（メタデータ） (2024-03-06T18:29:17Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳（メタデータ） (2023-11-07T17:39:17Z) - Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [12.443289202402761]
最小ノルム過パラメータ線形回帰モデルのレンズによるバッチ分割の利点を示す。
最適なバッチサイズを特徴付け、ノイズレベルに逆比例することを示す。
また,Weiner係数と同等の係数によるバッチ最小ノルム推定器の縮小がさらに安定化し,全ての設定において2次リスクを低くすることを示した。
論文 参考訳（メタデータ） (2023-06-14T11:02:08Z) - The Parametric Stability of Well-separated Spherical Gaussian Mixtures [7.238973585403367]
分布空間の小さな摂動下で球状ガウス混合モデル(sGMM)のパラメータ安定性を定量化する。
既定義モデルクラスにおける球面ガウス$P$(sGMM)の混合に対して、全変動距離におけるこのモデルクラスの他のすべてのsGMMは、Pに小さいパラメータ距離を持つことを示す最初の明示的境界を導出する。
論文 参考訳（メタデータ） (2023-02-01T04:52:13Z) - Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。
最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
論文 参考訳（メタデータ） (2022-09-16T22:09:53Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。
我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文 参考訳（メタデータ） (2020-10-11T19:05:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。