論文の概要: Adaptive Perturbation-Based Gradient Estimation for Discrete Latent Variable Models

• arxiv url: http://arxiv.org/abs/2209.04862v1
• Date: Sun, 11 Sep 2022 13:32:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-13 12:14:49.395679
• Title: Adaptive Perturbation-Based Gradient Estimation for Discrete Latent Variable Models
• Title（参考訳）: 離散潜在変数モデルに対する適応摂動に基づく勾配推定
• Authors: Pasquale Minervini, Luca Franceschi, Mathias Niepert
• Abstract要約: 複素離散分布に対する適応勾配推定器であるAdaptive IMLEを提案する。 我々の推定器は、他の勾配推定器よりも桁違いに少ないサンプルを必要とする一方で、忠実な推定を行うことができることを示す。
• 参考スコア（独自算出の注目度）: 28.011868604717726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of discrete algorithmic components in deep learning architectures has numerous applications. Recently, Implicit Maximum Likelihood Estimation (IMLE, Niepert, Minervini, and Franceschi 2021), a class of gradient estimators for discrete exponential family distributions, was proposed by combining implicit differentiation through perturbation with the path-wise gradient estimator. However, due to the finite difference approximation of the gradients, it is especially sensitive to the choice of the finite difference step size which needs to be specified by the user. In this work, we present Adaptive IMLE (AIMLE) the first adaptive gradient estimator for complex discrete distributions: it adaptively identifies the target distribution for IMLE by trading off the density of gradient information with the degree of bias in the gradient estimates. We empirically evaluate our estimator on synthetic examples, as well as on Learning to Explain, Discrete Variational Auto-Encoders, and Neural Relational Inference tasks. In our experiments, we show that our adaptive gradient estimator can produce faithful estimates while requiring orders of magnitude fewer samples than other gradient estimators.
• Abstract（参考訳）: ディープラーニングアーキテクチャにおける離散アルゴリズムコンポーネントの統合には多くの応用がある。 近年,離散的指数関数的家族分布に対する勾配推定のクラスである暗黙的最大推定法(imle, niepert, minervini, franceschi 2021)が,摂動による暗黙的微分とパスワイズ勾配推定法を組み合わせて提案されている。 しかし、勾配の有限差分近似のため、ユーザが指定する必要がある有限差分ステップサイズを選択することには特に敏感である。 本研究では、複雑な離散分布に対する最初の適応勾配推定器であるAdaptive IMLE(AIMLE)を提案する。 提案手法は, 合成例, 説明学習, 変分自動エンコーダの離散化, およびニューラルリレーショナル推論タスクにおいて実験的に評価する。 実験では,適応勾配推定器は,他の勾配推定器よりも桁違いに少ないサンプルを要求されながら,忠実な推定ができることを示した。

関連論文リスト

• Analytical Approximation of the ELBO Gradient in the Context of the Clutter Problem [0.0]
  変分推論問題におけるエビデンス下界(ELBO)の勾配を近似する解析解を提案する。 提案手法は線形計算複雑性とともに精度と収束率を示す。
  論文  参考訳（メタデータ） (2024-04-16T13:19:46Z)
• Non-asymptotic Analysis of Biased Adaptive Stochastic Approximation [0.8192907805418583]
  偏りのある勾配は滑らかな非函数に対する臨界点に収束することを示す。 適切なチューニングを行うことで,バイアスの効果を低減できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T10:17:36Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• Preferential Subsampling for Stochastic Gradient Langevin Dynamics [3.158346511479111]
  勾配MCMCは、データの小さな一様重み付きサブサンプルを持つ対数姿勢の勾配をバイアスなく見積もっている。 得られた勾配推定器は、高いばらつきおよび衝撃サンプリング性能を示すことができる。 このような手法は,使用中の平均サブサンプルサイズを大幅に削減しつつ,同じレベルの精度を維持することができることを示す。
  論文  参考訳（メタデータ） (2022-10-28T14:56:18Z)
• Gradient Estimation with Discrete Stein Operators [44.64146470394269]
  離散分布に対するスタイン演算子に基づく分散化手法を提案する。 提案手法は,同数の関数評価値を持つ最先端推定値よりも,かなり低い分散性を実現する。
  論文  参考訳（メタデータ） (2022-02-19T02:22:23Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Storchastic: A Framework for General Stochastic Automatic Differentiation [9.34612743192798]
  グラフの自動微分のための新しいフレームワークであるstorchasticを紹介する。 Storchasticにより、モデラーはサンプリングステップごとに様々な勾配推定方法を選択することができる。 Storchasticは任意の階勾配の推定に偏見がなく、分散減少技術を高階勾配推定に一般化する。
  論文  参考訳（メタデータ） (2021-04-01T12:19:54Z)
• A Study of Gradient Variance in Deep Learning [56.437755740715396]
  階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。 我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
  論文  参考訳（メタデータ） (2020-07-09T03:23:10Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。