論文の概要: Empirical Evaluation of Biased Methods for Alpha Divergence Minimization
- arxiv url: http://arxiv.org/abs/2105.06587v1
- Date: Thu, 13 May 2021 23:16:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-17 12:52:18.996126
- Title: Empirical Evaluation of Biased Methods for Alpha Divergence Minimization
- Title(参考訳): アルファ発散最小化のためのバイアスド手法の実証評価
- Authors: Tomas Geffner and Justin Domke
- Abstract要約: 我々は、バイアスが最終的な解決策にどのように影響するか、そしてこれが問題の次元にどのように依存するかに焦点を当てる。
i) 解は、従来の kl-divergence, kl(q||p) および (ii) の極小化に強く偏っているように見えるが、高次元では、このバイアスを緩和するには非現実的に大量の最小化が必要である。
- 参考スコア(独自算出の注目度): 42.26118870861363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we empirically evaluate biased methods for alpha-divergence
minimization. In particular, we focus on how the bias affects the final
solutions found, and how this depends on the dimensionality of the problem. We
find that (i) solutions returned by these methods appear to be strongly biased
towards minimizers of the traditional "exclusive" KL-divergence, KL(q||p), and
(ii) in high dimensions, an impractically large amount of computation is needed
to mitigate this bias and obtain solutions that actually minimize the
alpha-divergence of interest.
- Abstract(参考訳): 本稿では,アルファダイバージェンス最小化のためのバイアスド手法を実験的に評価する。
特に、バイアスが最終解にどのように影響するか、そしてこれが問題の次元性に依存するかに焦点を当てる。
これらの手法によって返される解は、(i)伝統的な「排他的」KL偏差(KL(q||p)の最小値に対して強く偏りがあり、(ii)高次元では、この偏差を緩和し、実際にα偏差を最小化する解を得るために、急激に大量の計算が必要である。
関連論文リスト
- Randomized Physics-Informed Machine Learning for Uncertainty
Quantification in High-Dimensional Inverse Problems [49.1574468325115]
本研究では,高次元逆問題における不確実性定量化のための物理インフォームド機械学習手法を提案する。
我々は解析的に、そして、ハミルトン・モンテカルロとの比較を通して、rPICKLE はベイズ則によって与えられる真の後続に収束することを示す。
論文 参考訳(メタデータ) (2023-12-11T07:33:16Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳(メタデータ) (2023-11-04T11:12:24Z) - A Dimensionality Reduction Method for Finding Least Favorable Priors
with a Focus on Bregman Divergence [108.28566246421742]
そこで本研究では,次元に明示的な有界な有限次元設定に最適化を移動させることができる次元削減法を開発した。
この問題を進展させるため、比較的大きな損失関数、すなわちブレグマンの発散によって引き起こされるベイズ的リスクに限定する。
論文 参考訳(メタデータ) (2022-02-23T16:22:28Z) - Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex
Regularizers [0.0]
本稿では,低ランク行列やスパースベクトルをある種の測定値から回収しようとする大問題について考察する。
凸偏差推定器に基づく手法は、ランクや空間の偏りに悩まされているが、非正則化器を用いる。
本稿では,このような問題に適用した近似交互バイアス降下アルゴリズムの新たな解析法を提案する。
論文 参考訳(メタデータ) (2021-09-26T22:09:42Z) - Exploiting Local Convergence of Quasi-Newton Methods Globally: Adaptive
Sample Size Approach [33.21301562890201]
準ニュートン法の超線形収束を利用する適応型サンプルサイズスキームを, 学習過程を通じて, 全世界的に活用する。
初期サンプルサイズが十分に大きく、準ニュートン法を用いて各サブプロブレムを解くと、サブプロブレムは超直線的に高速に解けることを示す。
論文 参考訳(メタデータ) (2021-06-10T01:08:51Z) - Continuous Wasserstein-2 Barycenter Estimation without Minimax
Optimization [94.18714844247766]
ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。
本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-02T21:01:13Z) - Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。
本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
論文 参考訳(メタデータ) (2020-12-09T20:19:32Z) - On the Difficulty of Unbiased Alpha Divergence Minimization [38.73307745906571]
勾配推定器のSNR(Signal-to-Noise Ratio)によるアルファ・ディバージェンス最小化手法について検討した。
アルファが 0 でない場合、SNR は問題次元において指数関数的に悪化する。
論文 参考訳(メタデータ) (2020-10-19T14:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。