論文の概要: Learning with Importance Weighted Variational Inference: Asymptotics for Gradient Estimators of the VR-IWAE Bound

• arxiv url: http://arxiv.org/abs/2410.12035v1
• Date: Tue, 15 Oct 2024 20:09:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:44:13.571695
• Title: Learning with Importance Weighted Variational Inference: Asymptotics for Gradient Estimators of the VR-IWAE Bound
• Title（参考訳）: 重み付き変分推論による学習:VR-IWAE境界の勾配推定器の漸近
• Authors: Kamélia Daudel, François Roueff,
• Abstract要約: 重み付けの重要さを含むいくつかの一般的な変動境界は、エビデンス・ロウアー・バウンドの一般化と改善のために提案されている。 VR-IWAEバウンダリは、ELBO、IWAE、VRバウンダリを統一する変分バウンダリとして導入された。
• 参考スコア（独自算出の注目度）: 3.115375810642661
• License:
• Abstract: Several popular variational bounds involving importance weighting ideas have been proposed to generalize and improve on the Evidence Lower BOund (ELBO) in the context of maximum likelihood optimization, such as the Importance Weighted Auto-Encoder (IWAE) and the Variational R\'enyi (VR) bounds. The methodology to learn the parameters of interest using these bounds typically amounts to running gradient-based variational inference algorithms that incorporate the reparameterization trick. However, the way the choice of the variational bound impacts the outcome of variational inference algorithms can be unclear. Recently, the VR-IWAE bound was introduced as a variational bound that unifies the ELBO, IWAE and VR bounds methodologies. In this paper, we provide two analyses for the reparameterized and doubly-reparameterized gradient estimators of the VR-IWAE bound, which reveal the advantages and limitations of these gradient estimators while enabling us to compare of the ELBO, IWAE and VR bounds methodologies. Our work advances the understanding of importance weighted variational inference methods and we illustrate our theoretical findings empirically.
• Abstract（参考訳）: 重要重み付けに関するいくつかの一般的な変分境界は、IWAE(Importance Weighted Auto-Encoder)やR\enyi(VR)境界などの最大極大最適化の文脈において、エビデンス・ロー・バウンド(ELBO)を一般化し改善するために提案されている。 これらの境界を用いて興味のあるパラメータを学習する手法は、通常、再パラメータ化トリックを組み込んだ勾配に基づく変分推論アルゴリズムの実行に比例する。 しかし、変分境界の選択が変分推論アルゴリズムの結果に与える影響は明らかでない。 近年、ELBO、IWAE、VRバウンダリを統一したバリエーション境界としてVR-IWAEバウンダリが導入されている。 本稿では,VR-IWAEバウンダリの再パラメータ化および2重パラメータ化勾配推定器について,ELBO,IWAE,VRバウンダリの手法を比較しながら,これらの勾配推定器の利点と限界を明らかにする。 本研究は,重み付き変分推論手法の理解を深め,理論的知見を実証的に示す。

関連論文リスト

• Geometric Remove-and-Retrain (GOAR): Coordinate-Invariant eXplainable AI Assessment [3.7399138244928145]
  Remove-and-Retrain(ROAR)は、個々のピクセルの重要性を評価するために広く受け入れられているアプローチである。 Geometric Remove-and-Retrain (GOAR) という新たな機能摂動手法を導入する。 GOARはピクセル中心のメトリクスの制限を超越する。
  論文  参考訳（メタデータ） (2024-07-17T08:28:53Z)
• Generalized Exponentiated Gradient Algorithms and Their Application to On-Line Portfolio Selection [13.075438411817117]
  本稿では,Alpha-Beta分散正規化関数から得られた一般化指数勾配(EG)更新の新たなファミリーを紹介する。 適用可能性の図示として、勾配法を用いてオンラインポートフォリオ選択問題(OLPS)に対処する際の提案された更新について評価する。
  論文  参考訳（メタデータ） (2024-06-02T07:56:30Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Alpha-divergence Variational Inference Meets Importance Weighted Auto-Encoders: Methodology and Asymptotics [21.51266421854127]
  我々はIWAE(Importance Weighted Auto-Encoder)境界の一般化であるVR-IWAE境界を定式化し研究する。 我々はVR-IWAE境界がいくつかの望ましい特性を享受していることを示し、特にVR境界と同じ勾配降下手順を導出することを示した。 次に、VR-IWAE境界と標準IWAE境界の相補的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-10-12T14:15:39Z)
• Variational Inference with Holder Bounds [68.8008396694788]
  熱力学的変動目標(TVO)の慎重に分析する。 熱力学曲線の病理幾何学がTVOにどのように悪影響を及ぼすかを明らかにする。 これは、ホルダー境界と呼ばれ、熱力学曲線を平坦化し、正確な辺辺対の1ステップ近似を達成することを約束する新しいVI目標を動機付けている。
  論文  参考訳（メタデータ） (2021-11-04T15:35:47Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Boosting Variational Inference With Locally Adaptive Step-Sizes [27.122745595473383]
  変分推論の強化により、より多くの計算に費やすことで、実践者はより優れた後部近似を得られるようになる。 Boosting Variational Inferenceが広く採用される主な障害は、強力な変動推論ベースラインよりも改善に必要なリソースの量である。 本稿では,グローバルな曲率が時間とメモリ消費に与える影響を解説し,局所曲率の概念を用いてこの問題に対処し,局所曲率を推定するための新しい近似バックトラックアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-19T16:41:33Z)
• Quantized Variational Inference [6.09170287691728]
  ELBO最適化のために、量子変分推論が分散自由勾配をいかに生み出すかを示す。 量子化変分推論フレームワークを用いることで、スコア関数と再パラメータ化勾配の両方に高速収束がもたらされることを示す。
  論文  参考訳（メタデータ） (2020-11-04T13:22:50Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。