論文の概要: Provably Scalable Black-Box Variational Inference with Structured Variational Families

• arxiv url: http://arxiv.org/abs/2401.10989v3
• Date: Sun, 01 Dec 2024 00:44:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:55:57.373204
• Title: Provably Scalable Black-Box Variational Inference with Structured Variational Families
• Title（参考訳）: 構造的変分ファミリによる拡張性のあるブラックボックス変分推定
• Authors: Joohwan Ko, Kyurae Kim, Woo Chang Kim, Jacob R. Gardner,
• Abstract要約: 我々は、あるスケールの行列構造が$mathcalOleft(Nright)$のより優れた反復複雑性を達成できることを示し、$N$に対するより良いスケーリングを示唆している。 大規模階層モデルの理論的結果を実証的に検証する。
• 参考スコア（独自算出の注目度）: 8.344690980938307
• License:
• Abstract: Variational families with full-rank covariance approximations are known not to work well in black-box variational inference (BBVI), both empirically and theoretically. In fact, recent computational complexity results for BBVI have established that full-rank variational families scale poorly with the dimensionality of the problem compared to e.g. mean-field families. This is particularly critical to hierarchical Bayesian models with local variables; their dimensionality increases with the size of the datasets. Consequently, one gets an iteration complexity with an explicit $\mathcal{O}(N^2)$ dependence on the dataset size $N$. In this paper, we explore a theoretical middle ground between mean-field variational families and full-rank families: structured variational families. We rigorously prove that certain scale matrix structures can achieve a better iteration complexity of $\mathcal{O}\left(N\right)$, implying better scaling with respect to $N$. We empirically verify our theoretical results on large-scale hierarchical models.
• Abstract（参考訳）: フルランク共分散近似を持つ変分族は、経験的および理論的にブラックボックス変分推論(BBVI)においてうまく機能しないことが知られている。 実際、最近のBBVIの計算複雑性の結果は、フルランクの変動族は、例えば平均体族と比較して、問題の次元性に乏しくスケールすることが証明されている。 これは局所変数を持つ階層的ベイズモデルにとって特に重要であり、その次元はデータセットのサイズによって増加する。 結果として、データセットサイズに対する明示的な$\mathcal{O}(N^2)$依存性を持つイテレーションの複雑さが得られる。 本稿では,平均場変動族とフルランク族の間の理論的中間点を探索する。 我々は、あるスケール行列構造が$\mathcal{O}\left(N\right)$のより優れた反復複雑性を達成できることを示す。 大規模階層モデルの理論的結果を実証的に検証する。

関連論文リスト

• Identifying General Mechanism Shifts in Linear Causal Representations [58.6238439611389]
  我々は,未知の潜在因子の線形混合を観測する線形因果表現学習環境について考察する。 近年の研究では、潜伏要因の復元や、それに基づく構造因果モデルの構築が可能であることが示されている。 非常に穏やかな標準仮定の下では、シフトしたノードの集合を識別することが可能である。
  論文  参考訳（メタデータ） (2024-10-31T15:56:50Z)
• Complexity-Theoretic Implications of Multicalibration [8.315801422499863]
  多精度予測器はより強い条件を満たす:それらはコレクションの各セットで校正される。 この複雑性理論的正則性レンマは、異なる領域に影響を及ぼすことが知られている。 すべての函数(その硬さによらず)が不随伴なハードコア集合の小さな集合を持つことが示される。
  論文  参考訳（メタデータ） (2023-12-28T18:53:21Z)
• Understanding Deep Learning via Decision Boundary [81.49114762506287]
  決定境界(DB)の変動が低いニューラルネットワークはより一般化可能であることを示す。 アルゴリズムDBの変数と$(epsilon, eta)$-data DBの変数という2つの新しい概念が、決定境界の変数を測定するために提案されている。
  論文  参考訳（メタデータ） (2022-06-03T11:34:12Z)
• Amortized Variational Inference for Simple Hierarchical Models [37.56550107432323]
  局所潜伏変数の数がデータセットでスケールするため、階層モデルにおける変分推論を伴うサブサンプリングを使用することは困難である。 本稿では,共有パラメータがすべての局所分布を同時に表現するアモータイズ手法を提案する。 また、構造的変動分布を使用するよりも劇的に高速である。
  論文  参考訳（メタデータ） (2021-11-04T20:29:12Z)
• Spatially relaxed inference on high-dimensional linear models [48.989769153211995]
  本研究では,空間的に制約されたクラスタリング,統計的推論,アンサンブルを組み合わせ,複数のクラスタリング推論解を集約するアンサンブルクラスタリング推論アルゴリズムの特性について検討する。 アンサンブルクラスタ推論アルゴリズムは,最大クラスター径に等しい$delta$-FWERの標準仮定で$delta$-FWERを制御することを示す。
  論文  参考訳（メタデータ） (2021-06-04T16:37:19Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Relative stability toward diffeomorphisms in deep nets indicates performance [66.51503682738931]
  微分同相性に対する安定性は、画像のベンチマークデータセットの性能と強く相関しないことを示す。 一般変換に対する微分同相性に対する安定性は、テスト誤差 $epsilon_t$ と著しく相関している。 CIFAR10と15の既知のアーキテクチャでは、$epsilon_tapprox 0.2sqrtR_f$を見つける。
  論文  参考訳（メタデータ） (2021-05-06T07:03:30Z)
• Isotonic regression with unknown permutations: Statistics, computation, and adaptation [13.96377843988598]
  我々は、推定のミニマックスリスク(実証的な$L$損失)と適応の基本的な限界(適応度指数で定式化)について検討する。 バニラ時間プロシージャで可能な最小適応率を達成しつつ、最小限の最適化が可能なミルスキー分割推定器を提供する。 相補的な方向において、既存の推定器の自然な修正は、デシデラタの最適統計性能、計算効率、高速適応の少なくとも1つを満たすことができないことを示す。
  論文  参考訳（メタデータ） (2020-09-05T22:17:51Z)
• FANOK: Knockoffs in Linear Time [73.5154025911318]
  本稿では,ガウスモデル-Xノックオフを効率的に実装し,大規模特徴選択問題における誤発見率を制御するアルゴリズムについて述べる。 当社のメソッドは、最大50,000ドルという問題でテストしています。
  論文  参考訳（メタデータ） (2020-06-15T21:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。