論文の概要: Provably Scalable Black-Box Variational Inference with Structured Variational Families

• arxiv url: http://arxiv.org/abs/2401.10989v2
• Date: Sun, 2 Jun 2024 01:36:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 19:32:36.981638
• Title: Provably Scalable Black-Box Variational Inference with Structured Variational Families
• Title（参考訳）: 構造的変分ファミリによる拡張性のあるブラックボックス変分推定
• Authors: Joohwan Ko, Kyurae Kim, Woo Chang Kim, Jacob R. Gardner,
• Abstract要約: 特定のスケールの行列構造は平均場ファミリーよりもイテレーションの複雑さが良いことを示す。 大規模階層モデルの理論的結果を実証的に検証する。
• 参考スコア（独自算出の注目度）: 8.344690980938307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational families with full-rank covariance approximations are known not to work well in black-box variational inference (BBVI), both empirically and theoretically. In fact, recent computational complexity results for BBVI have established that full-rank variational families scale poorly with the dimensionality of the problem compared to e.g. mean-field families. This is particularly critical to hierarchical Bayesian models with local variables; their dimensionality increases with the size of the datasets. Consequently, one gets an iteration complexity with an explicit (\mathcal{O}(N^2)) dependence on the dataset size (N). In this paper, we explore a theoretical middle ground between mean-field variational families and full-rank families: structured variational families. We rigorously prove that certain scale matrix structures can achieve a better iteration complexity of (\mathcal{O}\left(N\right)), implying better scaling with respect to (N). We empirically verify our theoretical results on large-scale hierarchical models.
• Abstract（参考訳）: フルランク共分散近似を持つ変分族は、経験的および理論的にブラックボックス変分推論(BBVI)においてうまく機能しないことが知られている。 実際、最近のBBVIの計算複雑性の結果は、フルランクの変動族は、例えば平均体族と比較して、問題の次元性に乏しくスケールすることが証明されている。 これは局所変数を持つ階層的ベイズモデルにとって特に重要であり、その次元はデータセットのサイズによって増加する。 その結果、データセットサイズ(N)に依存する明示的な(\mathcal{O}(N^2))反復複雑性が得られる。 本稿では,平均場変動族とフルランク族の間の理論的中間点を探索する。 ある種のスケール行列構造が (\mathcal{O}\left(N\right)) のより優れた反復複雑性を達成できることを厳密に証明し、(N) に関してより優れたスケーリングを示唆する。 大規模階層モデルの理論的結果を実証的に検証する。

関連論文リスト

• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Linear Discriminant Analysis with High-dimensional Mixed Variables [10.774094462083843]
  本稿では,混合変数を用いた高次元観測の分類手法を提案する。 データを指数関数的に多くのセルに分割するという課題を克服する。 推定精度と誤分類率に関する結果が確立される。
  論文  参考訳（メタデータ） (2021-12-14T03:57:56Z)
• Amortized Variational Inference for Simple Hierarchical Models [37.56550107432323]
  局所潜伏変数の数がデータセットでスケールするため、階層モデルにおける変分推論を伴うサブサンプリングを使用することは困難である。 本稿では,共有パラメータがすべての局所分布を同時に表現するアモータイズ手法を提案する。 また、構造的変動分布を使用するよりも劇的に高速である。
  論文  参考訳（メタデータ） (2021-11-04T20:29:12Z)
• Partial Counterfactual Identification from Observational and Experimental Data [83.798237968683]
  観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。 我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
  論文  参考訳（メタデータ） (2021-10-12T02:21:30Z)
• Variational Causal Networks: Approximate Bayesian Inference over Causal Structures [132.74509389517203]
  離散DAG空間上の自己回帰分布をモデル化したパラメトリック変分族を導入する。 実験では,提案した変分後部が真の後部を良好に近似できることを示した。
  論文  参考訳（メタデータ） (2021-06-14T17:52:49Z)
• Spatially relaxed inference on high-dimensional linear models [48.989769153211995]
  本研究では,空間的に制約されたクラスタリング,統計的推論,アンサンブルを組み合わせ,複数のクラスタリング推論解を集約するアンサンブルクラスタリング推論アルゴリズムの特性について検討する。 アンサンブルクラスタ推論アルゴリズムは,最大クラスター径に等しい$delta$-FWERの標準仮定で$delta$-FWERを制御することを示す。
  論文  参考訳（メタデータ） (2021-06-04T16:37:19Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Generative Learning of Heterogeneous Tail Dependence [13.60514494665717]
  我々のモデルは、各次元のすべての対の間の不均一かつ非対称なテール依存を特徴とする。 パラメータを学習するための新しいモーメント学習アルゴリズムを考案する。 その結果、このフレームワークはコプラベースのベンチマークと比較すると、より優れた有限サンプル性能が得られることがわかった。
  論文  参考訳（メタデータ） (2020-11-26T05:34:31Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Liberty or Depth: Deep Bayesian Neural Nets Do Not Need Complex Weight Posterior Approximations [40.384018112884874]
  より浅いネットワークによって引き起こされる関数空間に類似した分布を誘導できることを示す。 以上の結果から,より深いモデルにおける平均場変動推定は,構造化近似に対する実用的かつ理論的に妥当な代替手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-02-10T13:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。