論文の概要: On the Difficulty of Unbiased Alpha Divergence Minimization

• arxiv url: http://arxiv.org/abs/2010.09541v4
• Date: Tue, 26 Oct 2021 14:35:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 20:54:26.896396
• Title: On the Difficulty of Unbiased Alpha Divergence Minimization
• Title（参考訳）: 無バイアスアルファ発散最小化の難しさについて
• Authors: Tomas Geffner and Justin Domke
• Abstract要約: 勾配推定器のSNR(Signal-to-Noise Ratio)によるアルファ・ディバージェンス最小化手法について検討した。 アルファが 0 でない場合、SNR は問題次元において指数関数的に悪化する。
• 参考スコア（独自算出の注目度）: 38.73307745906571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several approximate inference algorithms have been proposed to minimize an alpha-divergence between an approximating distribution and a target distribution. Many of these algorithms introduce bias, the magnitude of which becomes problematic in high dimensions. Other algorithms are unbiased. These often seem to suffer from high variance, but little is rigorously known. In this work we study unbiased methods for alpha-divergence minimization through the Signal-to-Noise Ratio (SNR) of the gradient estimator. We study several representative scenarios where strong analytical results are possible, such as fully-factorized or Gaussian distributions. We find that when alpha is not zero, the SNR worsens exponentially in the dimensionality of the problem. This casts doubt on the practicality of these methods. We empirically confirm these theoretical results.
• Abstract（参考訳）: 近似分布と目標分布との間のアルファ分布を最小化するために、近似推定アルゴリズムがいくつか提案されている。 これらのアルゴリズムの多くはバイアスを導入し、その大きさは高次元で問題となる。 その他のアルゴリズムは不偏である。 これらはしばしば高いばらつきに悩まされるが、厳密には知られていない。 本研究では,勾配推定器のSNR(Signal-to-Noise Ratio)を通した非偏差最小化法について検討する。 完全分解分布やガウス分布など,強力な解析結果が得られるいくつかの代表的なシナリオについて検討する。 アルファが 0 でない場合、SNR は問題次元において指数関数的に悪化する。 これはこれらの方法の実用性に疑問を投げかける。 我々はこの理論結果を実証的に確認する。

関連論文リスト

• Quantitative Error Bounds for Scaling Limits of Stochastic Iterative Algorithms [10.022615790746466]
  アルゴリズムのサンプルパスとOrnstein-Uhlenbeck近似の非漸近関数近似誤差を導出する。 我々は、L'evy-Prokhorov と有界ワッサーシュタイン距離という2つの一般的な測度で誤差境界を構築するために、主要な結果を使用する。
  論文  参考訳（メタデータ） (2025-01-21T15:29:11Z)
• Entangled Mean Estimation in High-Dimensions [36.97113089188035]
  信号のサブセットモデルにおける高次元エンタングルド平均推定の課題について検討する。 最適誤差(polylogarithmic factor)は$f(alpha,N) + sqrtD/(alpha N)$であり、$f(alpha,N)$は1次元問題の誤差であり、第二項は準ガウス誤差率である。
  論文  参考訳（メタデータ） (2025-01-09T18:31:35Z)
• Best Arm Identification with Fixed Budget: A Large Deviation Perspective [54.305323903582845]
  我々は、様々な武器の報酬間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。 特に、様々な武器の報酬の間の経験的ギャップに基づいて、あらゆるラウンドで腕を拒絶できる真に適応的なアルゴリズムであるsredを提示する。
  論文  参考訳（メタデータ） (2023-12-19T13:17:43Z)
• Stochastic Approximation with Decision-Dependent Distributions: Asymptotic Normality and Optimality [8.771678221101368]
  我々は、アルゴリズムが使用するデータ分布が反復列に沿って進化する決定依存問題に対する近似を解析する。 軽微な仮定の下では、アルゴリズムの反復と解の偏差は正規であることを示す。 また,平均化アルゴリズムの性能は局所的に最小限であることを示す。
  論文  参考訳（メタデータ） (2022-07-09T01:44:17Z)
• Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence [69.65563161962245]
  ニュートン法を用いて,滑らかで強凸な目的関数を考える。 最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
  論文  参考訳（メタデータ） (2022-04-20T07:14:21Z)
• Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination [80.53485617514707]
  本稿では,ギャップベースアルゴリズムと逐次除去に基づく2つのアルゴリズムを提案する。 具体的には、ギャップベースのアルゴリズムでは、サンプルの複雑さは定数要素まで最適であり、連続的な除去では対数因子まで最適である。
  論文  参考訳（メタデータ） (2021-11-14T21:49:58Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Oracle Lower Bounds for Stochastic Gradient Sampling Algorithms [39.746670539407084]
  我々は、$bbRd$の強い対数凹密度からサンプリングする問題を考察する。 必要なログ密度の勾配クエリ数に基づいて,情報理論の下界を証明した。
  論文  参考訳（メタデータ） (2020-02-01T23:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。