論文の概要: An Efficient Quadrature Sequence and Sparsifying Methodology for
Mean-Field Variational Inference
- arxiv url: http://arxiv.org/abs/2301.08374v1
- Date: Fri, 20 Jan 2023 00:38:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-23 14:07:43.155140
- Title: An Efficient Quadrature Sequence and Sparsifying Methodology for
Mean-Field Variational Inference
- Title(参考訳): 平均場変分推論のための効率的な二次系列とスパース化手法
- Authors: Jed A. Duersch
- Abstract要約: 本研究では,高次元平均場変動推定のための準ランダムな四次数列を提案する。
短い列に対する平均的な結果は、全次周期のはるかに大きな空間において正確性を達成する。
MNISTのための単純な畳み込みニューラルネットワークに対するこのアプローチの数値的な実証は、高いテスト精度、96.9%を維持している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work proposes a quasirandom sequence of quadratures for high-dimensional
mean-field variational inference and a related sparsifying methodology. Each
iterate of the sequence contains two evaluations points that combine to
correctly integrate all univariate quadratic functions, as well as univariate
cubics if the mean-field factors are symmetric. More importantly, averaging
results over short subsequences achieves periodic exactness on a much larger
space of multivariate polynomials of quadratic total degree. This framework is
devised by first considering stochastic blocked mean-field quadratures, which
may be useful in other contexts. By replacing pseudorandom sequences with
quasirandom sequences, over half of all multivariate quadratic basis functions
integrate exactly with only 4 function evaluations, and the exactness dimension
increases for longer subsequences. Analysis shows how these efficient integrals
characterize the dominant log-posterior contributions to mean-field variational
approximations, including diagonal Hessian approximations, to support a robust
sparsifying methodology in deep learning algorithms. A numerical demonstration
of this approach on a simple Convolutional Neural Network for MNIST retains
high test accuracy, 96.9%, while training over 98.9% of parameters to zero in
only 10 epochs, bearing potential to reduce both storage and energy
requirements for deep learning models.
- Abstract(参考訳): 本研究では,高次元平均場変分推論のための準乱数列と関連するスパース化手法を提案する。
列の各反復は、平均場因子が対称であれば、すべての単変数二次函数と単変数立方体を正しく統合する2つの評価点を含む。
より重要なことに、短い部分列に対する平均的な結果が、二次全次数の多変量多項式のより広い空間上の周期的完全性を達成する。
この枠組みは、最初に確率的ブロック平均場二次を考えることで考案され、他の文脈で有用かもしれない。
擬似ランダム列を準ランダム列に置き換えることにより、すべての多変量二次基底関数の半分以上が4つの関数評価と完全に統合され、より長い列に対して精度次元が増加する。
これらの効率的な積分は、ディープラーニングアルゴリズムにおいて頑健なスパース化手法をサポートするために、対角 Hess 近似を含む平均場変動近似に対する支配的な対数後寄与をいかに特徴付けるかを示す。
MNISTのための単純な畳み込みニューラルネットワークに対するこのアプローチの数値的なデモンストレーションでは、96.9%の高いテスト精度を維持し、98.9%のパラメータを10エポックでゼロにトレーニングし、ディープラーニングモデルのストレージとエネルギー要求の両方を削減する可能性がある。
関連論文リスト
- Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳(メタデータ) (2023-09-02T01:27:53Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳(メタデータ) (2023-07-12T19:30:04Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - Exact Manifold Gaussian Variational Bayes [76.95091121622674]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を暗黙的に満足するガウス変分推論の効率的なアルゴリズムを開発する。
ブラックボックスの性質のため、EMGVBは複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳(メタデータ) (2022-10-26T10:12:31Z) - Distributed Estimation and Inference for Semi-parametric Binary Response
Models [10.719978332351621]
本稿では,分散コンピューティング環境下での半パラメトリック二値選択モデルの最大スコア推定について検討する。
直感的な分割・対数推定器は計算コストが高く、機械数に対する非正規制約によって制限される。
論文 参考訳(メタデータ) (2022-10-15T23:06:46Z) - Communication-Efficient Distributed Quantile Regression with Optimal
Statistical Guarantees [2.064612766965483]
本稿では,分散量子レグレッションにおいて,厳密なスケーリング条件を伴わずに最適な推論を実現する方法の課題に対処する。
この問題は、ローカル(各データソース)とグローバルな目的関数に適用される二重平滑化アプローチによって解決される。
局所的および大域的滑らか化パラメータの微妙な組み合わせに依存するにもかかわらず、量子回帰モデルは完全にパラメトリックである。
論文 参考訳(メタデータ) (2021-10-25T17:09:59Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳(メタデータ) (2021-06-07T17:44:49Z) - Last iterate convergence of SGD for Least-Squares in the Interpolation
regime [19.05750582096579]
基本最小二乗構成におけるノイズレスモデルについて検討する。
最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
論文 参考訳(メタデータ) (2021-02-05T14:02:20Z) - Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach [38.45568741734893]
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
論文 参考訳(メタデータ) (2021-02-05T13:01:12Z) - Optimal Change-Point Detection with Training Sequences in the Large and
Moderate Deviations Regimes [72.68201611113673]
本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。
基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
論文 参考訳(メタデータ) (2020-03-13T23:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。