論文の概要: Stein's Lemma for the Reparameterization Trick with Exponential Family Mixtures

• arxiv url: http://arxiv.org/abs/1910.13398v2
• Date: Sun, 19 Jan 2025 15:53:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:52:41.318613
• Title: Stein's Lemma for the Reparameterization Trick with Exponential Family Mixtures
• Title（参考訳）: 特発的な家族混合を伴う再パラメータ化トリックに対する Stein's Lemma の検討
• Authors: Wu Lin, Mohammad Emtiyaz Khan, Mark Schmidt,
• Abstract要約: スタインの補題はスタインの方法において重要な役割を果たす。 我々はスタインの補題を指数列混合分布に拡張する。
• 参考スコア（独自算出の注目度）: 23.941042092067338
• License:
• Abstract: Stein's method (Stein, 1973; 1981) is a powerful tool for statistical applications and has significantly impacted machine learning. Stein's lemma plays an essential role in Stein's method. Previous applications of Stein's lemma either required strong technical assumptions or were limited to Gaussian distributions with restricted covariance structures. In this work, we extend Stein's lemma to exponential-family mixture distributions, including Gaussian distributions with full covariance structures. Our generalization enables us to establish a connection between Stein's lemma and the reparameterization trick to derive gradients of expectations of a large class of functions under weak assumptions. Using this connection, we can derive many new reparameterizable gradient identities that go beyond the reach of existing works. For example, we give gradient identities when the expectation is taken with respect to Student's t-distribution, skew Gaussian, exponentially modified Gaussian, and normal inverse Gaussian.
• Abstract（参考訳）: Stein's Method (Stein, 1973; 1981) は統計応用の強力なツールであり、機械学習に大きな影響を与えている。 スタインの補題はスタインの方法において重要な役割を果たす。 スタインの補題の以前の応用は強い技術的仮定を必要としたか、あるいは共分散構造が制限されたガウス分布に限られていた。 本研究では,全共分散構造を持つガウス分布を含む指数列混合分布にスタインの補題を拡張した。 我々の一般化により、スタインの補題と再パラメータ化のトリックとの接続を確立することができ、弱い仮定の下で大きな函数の期待の勾配を導出することができる。 この接続を用いることで、既存の作品の範囲を超えて、多くの新しいパラメータ化可能な勾配IDを導き出すことができる。 例えば、学生のt分布、スキューガウス、指数修正ガウス、正規逆ガウスに対して期待値が取られるとき、勾配の恒等性を与える。

関連論文リスト

• A Stein Gradient Descent Approach for Doubly Intractable Distributions [5.63014864822787]
  そこで本研究では,2重に抽出可能な分布を推定するために,モンテカルロ・スタイン変分勾配勾配(MC-SVGD)法を提案する。 提案手法は,後続分布に匹敵する推論性能を提供しながら,既存のアルゴリズムよりもかなりの計算ゲインを達成する。
  論文  参考訳（メタデータ） (2024-10-28T13:42:27Z)
• Tempered Calculus for ML: Application to Hyperbolic Model Embedding [70.61101116794549]
  MLで使用されるほとんどの数学的歪みは、本質的に自然界において積分的である。 本稿では,これらの歪みを改善するための基礎的理論とツールを公表し,機械学習の要件に対処する。 我々は、最近MLで注目を集めた問題、すなわち、ハイパーボリック埋め込みを「チープ」で正確なエンコーディングで適用する方法を示す。
  論文  参考訳（メタデータ） (2024-02-06T17:21:06Z)
• Compressed and distributed least-squares regression: convergence rates with applications to Federated Learning [9.31522898261934]
  機械学習の勾配アルゴリズムに対する圧縮の影響について検討する。 いくつかの非バイアス圧縮演算子間の収束率の差を強調した。 我々はその結果を連合学習の事例にまで拡張する。
  論文  参考訳（メタデータ） (2023-08-02T18:02:00Z)
• A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
  我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。 我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
  論文  参考訳（メタデータ） (2022-11-17T17:50:39Z)
• High Probability Bounds for a Class of Nonconvex Algorithms with AdaGrad Stepsize [55.0090961425708]
  本研究では,AdaGradのスムーズな非確率問題に対する簡易な高確率解析法を提案する。 我々はモジュラーな方法で解析を行い、決定論的設定において相補的な$mathcal O (1 / TT)$収束率を得る。 我々の知る限りでは、これは真に適応的なスキームを持つAdaGradにとって初めての高い確率である。
  論文  参考訳（メタデータ） (2022-04-06T13:50:33Z)
• The Schr\"odinger Bridge between Gaussian Measures has a Closed Form [101.79851806388699]
  我々は OT の動的定式化(Schr"odinger bridge (SB) 問題)に焦点を当てる。 本稿では,ガウス測度間のSBに対する閉形式表現について述べる。
  論文  参考訳（メタデータ） (2022-02-11T15:59:01Z)
• Complexity Analysis of Stein Variational Gradient Descent Under Talagrand's Inequality T1 [12.848239550098697]
  我々は、$pi(x) propto exp(-Fx)からサンプリングするアルゴリズムであるStein Variational Gradient Descent (SVGD)の複雑さについて検討する。 我々の重要な仮定は、対象分布が不等式の不等式 T1 を満たすことである。
  論文  参考訳（メタデータ） (2021-06-06T09:51:32Z)
• Stein Variational Gradient Descent: many-particle and long-time asymptotics [0.0]
  スタイン変動勾配降下 (SVGD) は相互作用する粒子系に基づくベイズ推論の方法のクラスを指す。 ステイン幾何学の余接空間構成を開発し,その基本的な性質を証明し,多粒子極限を規定する大退化汎関数を決定する。 Stein-Fisherの情報は、長期および多粒子体制における主要な注文貢献として識別されます。
  論文  参考訳（メタデータ） (2021-02-25T16:03:04Z)
• Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
  分散最適化問題は機械学習や統計学で広く発生する。 本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。 目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
  論文  参考訳（メタデータ） (2020-12-21T18:33:13Z)
• A diffusion approach to Stein's method on Riemannian manifolds [65.36007959755302]
  我々は、ターゲット不変測度を持つ$mathbf M$上の拡散の生成元と、その特徴付けStein演算子との関係を利用する。 我々は、スタイン方程式とその微分に解を束縛するスタイン因子を導出する。 我々は、$mathbf M$ が平坦多様体であるとき、$mathbb Rm$ の有界が有効であることを暗示する。
  論文  参考訳（メタデータ） (2020-03-25T17:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。