論文の概要: Sparsifying Stochasticity, Not Capacity: Partial Stochasticity via Deep Weight Factorization of Prior Scales

• arxiv url: http://arxiv.org/abs/2610.09886v1
• Date: Wed, 07 Oct 2026 11:45:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.878798
• Title: Sparsifying Stochasticity, Not Capacity: Partial Stochasticity via Deep Weight Factorization of Prior Scales
• Title（参考訳）: 空間的確率性 : 事前尺度の深度因子化による部分的確率性
• Abstract要約: ベイズニューラルネットワークは、普遍的な条件密度近似器として完全に決定的である必要はないが、どのパラメータが存在するべきかは未定である。 我々は、パラメータ先行の標準偏差である事前尺度にディープ・ウェイト・ファクタライゼーションを適用することで、この分割を学習する。 事前スケールがカットオフ以下のパラメータは、推論中に最適化されるので、正規化器はキャパシティよりも分散する。 UCIベンチマークでは、決定論的パラメータの約半分を保ちながら、完全に決定論的ネットワークと同等に動作している。
• 参考スコア（独自算出の注目度）: 7.439524256560836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian neural networks need not be fully stochastic to be universal conditional density approximators, but it remains open which parameters should be stochastic. We learn this split by applying deep weight factorization to the prior scales, which are the standard deviations of the parameter priors, while fitting the functional prior to a Gaussian process with a maximum mean discrepancy objective. A parameter whose prior scale falls below a cutoff becomes deterministic and is optimized during inference, so the regularizer sparsifies stochasticity rather than capacity. We give a certificate for universal conditional density approximation that is checkable in linear time, together with a minimal repair when it fails. We further show that the common hybrid scheme of sampling some parameters and optimizing the others is stochastic approximation for a type-II maximum a posteriori objective, and that coupled step sizes can leave a tracking error that does not vanish as the step size shrinks. On a bimodal target, the learned split stays close to an unconstrained reference across all budgets and is insensitive to the cutoff, while random masks that distribute the same prior scales across layers are worse by up to two orders of magnitude. On UCI benchmarks, our method performs on par with a fully stochastic network while keeping about half of its parameters deterministic.
• Abstract（参考訳）: ベイズニューラルネットワークは、普遍的な条件密度近似器として完全に確率的である必要はないが、どのパラメータが確率的であるべきかは未定である。 パラメータ先行の標準偏差である事前尺度に深い重み分解を適用することで,ガウス過程以前の関数を最大平均差度目標に適合させることにより,この分割を学習する。 スケールがカットオフ以下になるパラメータは決定論的になり、推論中に最適化されるため、正規化器はキャパシティよりも確率性を分散させる。 我々は、線形時間でチェック可能な普遍的条件密度近似の証明と、故障時に最小限の修理を与える。 さらに、いくつかのパラメータをサンプリングし、他のパラメータを最適化する一般的なハイブリッドスキームは、タイプIIの最大余剰目標に対する確率近似であり、ステップサイズが小さくなるにつれて消滅しない追跡誤差を残すことができることを示す。 バイモーダルなターゲットでは、学習された分割はすべての予算で制限されていない参照に近づき、カットオフに敏感であり、同じ前のスケールを層に分散するランダムマスクは最大2桁まで悪化する。 UCIベンチマークでは、パラメータの約半分を決定論的に保ちながら、完全に確率的なネットワークと同等に動作している。

関連論文リスト

• Direct Bethe Free Energy Minimization for Bayesian Neural Network [0.0]
  我々は,変分下界を最大化するのではなく,Bethe自由エネルギーを直接最小化してベイズニューラルネットワークを訓練することを提案する。 木構造因子グラフ上では、Bethe自由エネルギーは正確であり、決定論的層は目的から外れ、標準のバックプロパゲーションによって訓練される。 すべての変種は、アンサンブルやサンプリングベースの手法とは対照的に、MAP等価な推論コストで閉形式予測を許容する。
  論文  参考訳（メタデータ） (2026-05-08T20:12:48Z)
• General Pruning Criteria for Fast SBL [4.370097023410272]
  スパースベイズ学習(SBL)は、各重みがガウス分布でゼロ平均と精度(逆分散)が関連するハイパーパラメータと等しいと仮定して、基底線形モデルの各重みにハイパーパラメータを関連付ける。 ガウスの場合、2つの条件は相補的であり、高速なSBL(F-SBL)のプルーニング条件と一致することが示され、このアルゴリズムについてさらなる知見が得られた。
  論文  参考訳（メタデータ） (2025-09-25T20:52:28Z)
• Nearest Neighbor Sampling for Covariate Shift Adaptation [7.940293148084844]
  重みを推定しない新しい共変量シフト適応法を提案する。 基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。 実験の結果, 走行時間を大幅に短縮できることがわかった。
  論文  参考訳（メタデータ） (2023-12-15T17:28:09Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。