論文の概要: On the Difficulty of Unbiased Alpha Divergence Minimization

• arxiv url: http://arxiv.org/abs/2010.09541v4
• Date: Tue, 26 Oct 2021 14:35:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 20:54:26.896396
• Title: On the Difficulty of Unbiased Alpha Divergence Minimization
• Title（参考訳）: 無バイアスアルファ発散最小化の難しさについて
• Authors: Tomas Geffner and Justin Domke
• Abstract要約: 勾配推定器のSNR(Signal-to-Noise Ratio)によるアルファ・ディバージェンス最小化手法について検討した。 アルファが 0 でない場合、SNR は問題次元において指数関数的に悪化する。
• 参考スコア（独自算出の注目度）: 38.73307745906571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several approximate inference algorithms have been proposed to minimize an alpha-divergence between an approximating distribution and a target distribution. Many of these algorithms introduce bias, the magnitude of which becomes problematic in high dimensions. Other algorithms are unbiased. These often seem to suffer from high variance, but little is rigorously known. In this work we study unbiased methods for alpha-divergence minimization through the Signal-to-Noise Ratio (SNR) of the gradient estimator. We study several representative scenarios where strong analytical results are possible, such as fully-factorized or Gaussian distributions. We find that when alpha is not zero, the SNR worsens exponentially in the dimensionality of the problem. This casts doubt on the practicality of these methods. We empirically confirm these theoretical results.
• Abstract（参考訳）: 近似分布と目標分布との間のアルファ分布を最小化するために、近似推定アルゴリズムがいくつか提案されている。 これらのアルゴリズムの多くはバイアスを導入し、その大きさは高次元で問題となる。 その他のアルゴリズムは不偏である。 これらはしばしば高いばらつきに悩まされるが、厳密には知られていない。 本研究では,勾配推定器のSNR(Signal-to-Noise Ratio)を通した非偏差最小化法について検討する。 完全分解分布やガウス分布など,強力な解析結果が得られるいくつかの代表的なシナリオについて検討する。 アルファが 0 でない場合、SNR は問題次元において指数関数的に悪化する。 これはこれらの方法の実用性に疑問を投げかける。 我々はこの理論結果を実証的に確認する。

関連論文リスト

• Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
  我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。 特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
  論文  参考訳（メタデータ） (2023-12-19T13:17:43Z)
• Stochastic Approximation with Decision-Dependent Distributions: Asymptotic Normality and Optimality [8.771678221101368]
  我々は、アルゴリズムが使用するデータ分布が反復列に沿って進化する決定依存問題に対する近似を解析する。 軽微な仮定の下では、アルゴリズムの反復と解の偏差は正規であることを示す。 また,平均化アルゴリズムの性能は局所的に最小限であることを示す。
  論文  参考訳（メタデータ） (2022-07-09T01:44:17Z)
• Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence [69.65563161962245]
  ニュートン法を用いて,滑らかで強凸な目的関数を考える。 最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
  論文  参考訳（メタデータ） (2022-04-20T07:14:21Z)
• Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination [80.53485617514707]
  本稿では,ギャップベースアルゴリズムと逐次除去に基づく2つのアルゴリズムを提案する。 具体的には、ギャップベースのアルゴリズムでは、サンプルの複雑さは定数要素まで最適であり、連続的な除去では対数因子まで最適である。
  論文  参考訳（メタデータ） (2021-11-14T21:49:58Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Distributionally Robust Optimization with Markovian Data [8.126833795693699]
  本研究では,不確実な問題パラメータの確率分布が不明なプログラムについて検討する。 本稿では,問題の目的関数と最適解を推定するために,データ駆動型分布法を提案する。
  論文  参考訳（メタデータ） (2021-06-12T10:59:02Z)
• Empirical Evaluation of Biased Methods for Alpha Divergence Minimization [42.26118870861363]
  我々は、バイアスが最終的な解決策にどのように影響するか、そしてこれが問題の次元にどのように依存するかに焦点を当てる。 i) 解は、従来の kl-divergence, kl(q||p) および (ii) の極小化に強く偏っているように見えるが、高次元では、このバイアスを緩和するには非現実的に大量の最小化が必要である。
  論文  参考訳（メタデータ） (2021-05-13T23:16:54Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Oracle Lower Bounds for Stochastic Gradient Sampling Algorithms [39.746670539407084]
  我々は、$bbRd$の強い対数凹密度からサンプリングする問題を考察する。 必要なログ密度の勾配クエリ数に基づいて,情報理論の下界を証明した。
  論文  参考訳（メタデータ） (2020-02-01T23:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。