論文の概要: Boosting Variational Inference With Locally Adaptive Step-Sizes

• arxiv url: http://arxiv.org/abs/2105.09240v1
• Date: Wed, 19 May 2021 16:41:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-20 15:35:49.001892
• Title: Boosting Variational Inference With Locally Adaptive Step-Sizes
• Title（参考訳）: 局所適応ステップサイズを用いた変分推論の促進
• Authors: Gideon Dresdner, Saurav Shekhar, Fabian Pedregosa, Francesco Locatello, Gunnar R\"atsch
• Abstract要約: 変分推論の強化により、より多くの計算に費やすことで、実践者はより優れた後部近似を得られるようになる。 Boosting Variational Inferenceが広く採用される主な障害は、強力な変動推論ベースラインよりも改善に必要なリソースの量である。 本稿では,グローバルな曲率が時間とメモリ消費に与える影響を解説し,局所曲率の概念を用いてこの問題に対処し,局所曲率を推定するための新しい近似バックトラックアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 27.122745595473383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational Inference makes a trade-off between the capacity of the variational family and the tractability of finding an approximate posterior distribution. Instead, Boosting Variational Inference allows practitioners to obtain increasingly good posterior approximations by spending more compute. The main obstacle to widespread adoption of Boosting Variational Inference is the amount of resources necessary to improve over a strong Variational Inference baseline. In our work, we trace this limitation back to the global curvature of the KL-divergence. We characterize how the global curvature impacts time and memory consumption, address the problem with the notion of local curvature, and provide a novel approximate backtracking algorithm for estimating local curvature. We give new theoretical convergence rates for our algorithms and provide experimental validation on synthetic and real-world datasets.
• Abstract（参考訳）: 変分推論は、変分系列の容量と近似した後続分布を求めるトラクタビリティとの間のトレードオフを行う。 代わりに、Boosting Variational Inferenceは、より多くの計算に費やすことで、実践者がより優れた後部近似を得られるようにする。 Boosting Variational Inferenceが広く採用される主な障害は、強力な変動推論ベースラインよりも改善に必要なリソースの量である。 我々の研究では、この制限はKL-発散のグローバルな曲率に遡る。 我々は,グローバルな曲率が時間とメモリ消費に与える影響を特徴付け,局所曲率の概念を用いてこの問題に対処し,局所曲率を推定するための新しい近似バックトラックアルゴリズムを提供する。 アルゴリズムに新しい理論収束率を与え,合成および実世界のデータセットについて実験的検証を行う。

関連論文リスト

• Inferring Change Points in High-Dimensional Regression via Approximate Message Passing [9.660892239615366]
  信号と変化点位置の両方を推定するための近似メッセージパッシング(AMP)アルゴリズムを提案する。 パラメータ数$p$がサンプル数$n$に比例する高次元極限において、その性能を厳格に特徴づける。 高次元極限における変化点上のベイズ後部分布を効率よく計算するために,我々のAMPイテレートをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-04-11T15:57:12Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Leveraging Self-Consistency for Data-Efficient Amortized Bayesian Inference [9.940560505044122]
  本稿では,償却ベイズ推定の効率と精度を向上させる手法を提案する。 我々は,関節モデルの近似表現に基づいて限界確率を推定する。
  論文  参考訳（メタデータ） (2023-10-06T17:41:41Z)
• Federated Learning as Variational Inference: A Scalable Expectation Propagation Approach [66.9033666087719]
  本稿では,推論の視点を拡張し,フェデレート学習の変分推論の定式化について述べる。 我々は、FedEPを標準フェデレーション学習ベンチマークに適用し、収束速度と精度の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-02-08T17:58:11Z)
• A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer [55.20627066525205]
  本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。 我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2021-10-16T15:54:01Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Improving Bayesian Inference in Deep Neural Networks with Variational Structured Dropout [19.16094166903702]
  ベイズネットワークにおける近似推論として,ドロップアウトトレーニングの解釈に触発された新しい変分構造近似を提案する。 そこで,この限界を克服するために,Variational Structured Dropout (VSD) と呼ばれる新しい手法を提案する。 標準ベンチマークの実験を行い、予測精度と不確実性推定の両方において、最新手法に対するVSDの有効性を実証します。
  論文  参考訳（メタデータ） (2021-02-16T02:33:43Z)
• A Random Matrix Theory Approach to Damping in Deep Learning [0.7614628596146599]
  深層学習における適応的勾配法と非適応的勾配法との違いは推定ノイズの増加に起因すると推測する。 線形縮退推定にインスパイアされた2次オプティマイザのためのランダム行列理論に基づくダンピング学習器を開発した。
  論文  参考訳（メタデータ） (2020-11-15T18:19:42Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。