論文の概要: Improving Bridge estimators via $f$-GAN
- arxiv url: http://arxiv.org/abs/2106.07462v1
- Date: Mon, 14 Jun 2021 14:40:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 21:40:51.181043
- Title: Improving Bridge estimators via $f$-GAN
- Title(参考訳): $f$-GANによるブリッジ推定器の改善
- Authors: Hanwen Xing
- Abstract要約: ブリッジサンプリングは、正規化定数の比率を推定する強力なモンテカルロ法である。
まず、最適ブリッジ推定器の相対平均二乗誤差(RMSE)の新しい推定器を提案する。
次に、このフレームワークを利用し、一方の密度を他方の密度にマッピングする変換に基づいて、$f-GAN-Bridge estimator (f$-GB)を提案する。
- 参考スコア(独自算出の注目度): 2.0305676256390934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bridge sampling is a powerful Monte Carlo method for estimating ratios of
normalizing constants. Various methods have been introduced to improve its
efficiency. These methods aim to increase the overlap between the densities by
applying appropriate transformations to them without changing their normalizing
constants. In this paper, we first give a new estimator of the asymptotic
relative mean square error (RMSE) of the optimal Bridge estimator by
equivalently estimating an $f$-divergence between the two densities. We then
utilize this framework and propose $f$-GAN-Bridge estimator ($f$-GB) based on a
bijective transformation that maps one density to the other. Such
transformation is chosen to minimize a specific $f$-divergence between them
using an $f$-GAN \citep{nowozin2016f}. We show it is equivalent to minimizing
the asymptotic RMSE of the optimal Bridge estimator with respect to the
densities. In other words, $f$-GB is optimal in the sense that asymptotically,
it can achieve an RMSE lower than that achieved by Bridge estimators based on
any transformed density within the class of densities generated by the
candidate transformations. Numerical experiments show that $f$-GB outperforms
existing methods in simulated and real-world examples. In addition, we discuss
how Bridge estimators naturally arise from the problem of $f$-divergence
estimation.
- Abstract(参考訳): ブリッジサンプリングは、正規化定数の比率を推定する強力なモンテカルロ法である。
効率を向上させるために様々な方法が導入された。
これらの方法は、正規化定数を変更することなく、適切な変換を適用することで密度間の重なりを増大させることを目的としている。
本稿では,まず2つの密度間のf$-divergenceを等価に推定することにより,最適ブリッジ推定器の漸近相対平均二乗誤差(rmse)の新しい推定器を提案する。
次に、このフレームワークを利用し、一方の密度を他方にマップする単射変換に基づいて、$f$-GAN-Bridge estimator (f$-GB)を提案する。
そのような変換は、$f$-GAN \citep{nowozin2016f} を用いて、それらの間の特定の$f$-divergenceを最小化する。
最適橋梁推定器の漸近的rmseを密度に対して最小化することと同値であることを示す。
言い換えれば、$f$-GB は漸近的に、候補変換によって生成される密度のクラス内の変換密度に基づいてブリッジ推定器が達成した値よりも低い RMSE を達成することができるという意味で最適である。
数値実験によれば、$f$-gbはシミュレーションや実世界の例では既存の方法よりも優れている。
さらに,$f$-divergence推定の問題から橋梁推定器が自然に発生するかについて議論する。
関連論文リスト
- Normalizing flows as approximations of optimal transport maps via
linear-control neural ODEs [55.2480439325792]
ニューマライズフロー」は、深層ニューラルネットワークを用いて確率測度間の可逆輸送マップを構築するタスクに関連している。
我々は、絶対連続測度$mu,nuinmathcalP(mathbbRn)$間の$W$最適輸送マップ$T$を線形制御ニューラルネットワークのフローとして回収する問題を考える。
論文 参考訳(メタデータ) (2023-11-02T17:17:03Z) - Modified Step Size for Enhanced Stochastic Gradient Descent: Convergence
and Experiments [0.0]
本稿では,$frac1sqrtttをベースとした変形ステップサイズを改良することにより,勾配降下法(SGD)アルゴリズムの性能向上に新たなアプローチを提案する。
提案されたステップサイズは対数的なステップ項を統合し、最終イテレーションでより小さな値を選択する。
提案手法の有効性について,FashionMNISTとARARを用いて画像分類タスクの数値実験を行った。
論文 参考訳(メタデータ) (2023-09-03T19:21:59Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - MSTGD:A Memory Stochastic sTratified Gradient Descent Method with an
Exponential Convergence Rate [0.0]
本稿では,指数収束率を持つ新しいアンダーラインメモリStochastic sunderlineTratified Gradient Descend(underlineMSTGD)アルゴリズムを設計する。
特に、MSTGDは2つの分散還元戦略を用いており、第1の戦略は、使用履歴勾配の比例pに応じて分散還元を行うことである。
指数収束率を達成すると主張する他のほとんどのアルゴリズムとは異なり、収束率はデータセットサイズN、バッチサイズnなどのパラメータとは独立である。
論文 参考訳(メタデータ) (2022-02-21T01:36:26Z) - Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain
Adaptation [154.2195491708548]
ランダムに選択されたデータバッチの分類出力行列の構造について検討し,予測可能性と多様性について検討した。
本稿では,目標出力行列上で核ノルムを行い,目標予測能力を向上するBatch Nuclear-norm Maximization and Minimizationを提案する。
実験により,本手法は3つの典型的なドメイン適応シナリオにおいて適応精度とロバスト性を高めることができることが示された。
論文 参考訳(メタデータ) (2021-07-13T15:08:32Z) - Stochastic Bias-Reduced Gradient Methods [44.35885731095432]
モロー・吉田関数の任意の有界な$x_star$の低バイアスで低コストな平滑化である。
論文 参考訳(メタデータ) (2021-06-17T13:33:05Z) - Laplace Matching for fast Approximate Inference in Generalized Linear
Models [27.70274403550477]
本論文では,高い近似品質を実現しつつ,計算的に安価に設計した近似推論フレームワークを提案する。
我々が emphLaplace Matching と呼ぶこの概念は、指数群のパラメータ空間間の閉形式、近似、双方向変換を含む。
これにより、GLMにおける推論を(小さな近似誤差で)共役推論に変換する。
論文 参考訳(メタデータ) (2021-05-07T08:25:17Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - Nearest Neighbour Based Estimates of Gradients: Sharp Nonasymptotic
Bounds and Applications [0.6445605125467573]
勾配推定は統計学と学習理論において重要である。
ここでは古典的な回帰設定を考えると、実値の正方形可積分 r.v.$Y$ が予測される。
代替推定法で得られた値に対して, 漸近的境界が改良されることを証明した。
論文 参考訳(メタデータ) (2020-06-26T15:19:43Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳(メタデータ) (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。