論文の概要: An Efficient Quadrature Sequence and Sparsifying Methodology for Mean-Field Variational Inference

• arxiv url: http://arxiv.org/abs/2301.08374v1
• Date: Fri, 20 Jan 2023 00:38:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-23 14:07:43.155140
• Title: An Efficient Quadrature Sequence and Sparsifying Methodology for Mean-Field Variational Inference
• Title（参考訳）: 平均場変分推論のための効率的な二次系列とスパース化手法
• Authors: Jed A. Duersch
• Abstract要約: 本研究では,高次元平均場変動推定のための準ランダムな四次数列を提案する。 短い列に対する平均的な結果は、全次周期のはるかに大きな空間において正確性を達成する。 MNISTのための単純な畳み込みニューラルネットワークに対するこのアプローチの数値的な実証は、高いテスト精度、96.9%を維持している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work proposes a quasirandom sequence of quadratures for high-dimensional mean-field variational inference and a related sparsifying methodology. Each iterate of the sequence contains two evaluations points that combine to correctly integrate all univariate quadratic functions, as well as univariate cubics if the mean-field factors are symmetric. More importantly, averaging results over short subsequences achieves periodic exactness on a much larger space of multivariate polynomials of quadratic total degree. This framework is devised by first considering stochastic blocked mean-field quadratures, which may be useful in other contexts. By replacing pseudorandom sequences with quasirandom sequences, over half of all multivariate quadratic basis functions integrate exactly with only 4 function evaluations, and the exactness dimension increases for longer subsequences. Analysis shows how these efficient integrals characterize the dominant log-posterior contributions to mean-field variational approximations, including diagonal Hessian approximations, to support a robust sparsifying methodology in deep learning algorithms. A numerical demonstration of this approach on a simple Convolutional Neural Network for MNIST retains high test accuracy, 96.9%, while training over 98.9% of parameters to zero in only 10 epochs, bearing potential to reduce both storage and energy requirements for deep learning models.
• Abstract（参考訳）: 本研究では,高次元平均場変分推論のための準乱数列と関連するスパース化手法を提案する。 列の各反復は、平均場因子が対称であれば、すべての単変数二次函数と単変数立方体を正しく統合する2つの評価点を含む。 より重要なことに、短い部分列に対する平均的な結果が、二次全次数の多変量多項式のより広い空間上の周期的完全性を達成する。 この枠組みは、最初に確率的ブロック平均場二次を考えることで考案され、他の文脈で有用かもしれない。 擬似ランダム列を準ランダム列に置き換えることにより、すべての多変量二次基底関数の半分以上が4つの関数評価と完全に統合され、より長い列に対して精度次元が増加する。 これらの効率的な積分は、ディープラーニングアルゴリズムにおいて頑健なスパース化手法をサポートするために、対角 Hess 近似を含む平均場変動近似に対する支配的な対数後寄与をいかに特徴付けるかを示す。 MNISTのための単純な畳み込みニューラルネットワークに対するこのアプローチの数値的なデモンストレーションでは、96.9%の高いテスト精度を維持し、98.9%のパラメータを10エポックでゼロにトレーニングし、ディープラーニングモデルのストレージとエネルギー要求の両方を削減する可能性がある。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations [0.0]
  フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。 本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T19:30:04Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Distributed Estimation and Inference for Semi-parametric Binary Response Models [8.309294338998539]
  本稿では,分散コンピューティング環境下での半パラメトリック二値選択モデルの最大スコア推定について検討する。 直感的な分割・対数推定器は計算コストが高く、機械数に対する非正規制約によって制限される。
  論文  参考訳（メタデータ） (2022-10-15T23:06:46Z)
• Communication-Efficient Distributed Quantile Regression with Optimal Statistical Guarantees [2.064612766965483]
  本稿では,分散量子レグレッションにおいて,厳密なスケーリング条件を伴わずに最適な推論を実現する方法の課題に対処する。 この問題は、ローカル(各データソース)とグローバルな目的関数に適用される二重平滑化アプローチによって解決される。 局所的および大域的滑らか化パラメータの微妙な組み合わせに依存するにもかかわらず、量子回帰モデルは完全にパラメトリックである。
  論文  参考訳（メタデータ） (2021-10-25T17:09:59Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• Last iterate convergence of SGD for Least-Squares in the Interpolation regime [19.05750582096579]
  基本最小二乗構成におけるノイズレスモデルについて検討する。 最適予測器が完全に入力に適合すると仮定し、$langletheta_*, phi(X) rangle = Y$, ここで$phi(X)$は無限次元の非線型特徴写像を表す。
  論文  参考訳（メタデータ） (2021-02-05T14:02:20Z)
• Reducing the Amortization Gap in Variational Autoencoders: A Bayesian Random Function Approach [38.45568741734893]
  GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。 提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
  論文  参考訳（メタデータ） (2021-02-05T13:01:12Z)
• Optimal Change-Point Detection with Training Sequences in the Large and Moderate Deviations Regimes [72.68201611113673]
  本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。 基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
  論文  参考訳（メタデータ） (2020-03-13T23:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。