Fugu-MT 論文翻訳(概要): Quasi-Newton Quasi-Monte Carlo for variational Bayes

論文の概要: Quasi-Newton Quasi-Monte Carlo for variational Bayes

arxiv url: http://arxiv.org/abs/2104.02865v1
Date: Wed, 7 Apr 2021 02:34:03 GMT
ステータス: 処理完了
システム内更新日: 2021-04-09 00:18:34.247367
Title: Quasi-Newton Quasi-Monte Carlo for variational Bayes
Title（参考訳）: 変分ベイのための準ニュートン準モンテカルロ
Authors: Sifan Liu and Art B. Owen
Abstract要約: このような問題に対するランダム化準モンテカルロ(RQMC)サンプリングの使用を検討する。サンプリング精度の向上は、好ましい設定で直接$o(n-1/2)$となることが証明される。
参考スコア（独自算出の注目度）: 8.75682288556859
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Many machine learning problems optimize an objective that must be measured with noise. The primary method is a first order stochastic gradient descent using one or more Monte Carlo (MC) samples at each step. There are settings where ill-conditioning makes second order methods such as L-BFGS more effective. We study the use of randomized quasi-Monte Carlo (RQMC) sampling for such problems. When MC sampling has a root mean squared error (RMSE) of $O(n^{-1/2})$ then RQMC has an RMSE of $o(n^{-1/2})$ that can be close to $O(n^{-3/2})$ in favorable settings. We prove that improved sampling accuracy translates directly to improved optimization. In our empirical investigations for variational Bayes, using RQMC with stochastic L-BFGS greatly speeds up the optimization, and sometimes finds a better parameter value than MC does.
Abstract（参考訳）: 多くの機械学習問題は、ノイズで測定しなければならない目的を最適化する。一次方法は、各ステップで1つ以上のモンテカルロ(mc)サンプルを用いた1次確率勾配降下である。 L-BFGSのような二階法がより効果的になるような設定もある。このような問題に対するランダム化準モンテカルロサンプリング(RQMC)の利用について検討する。 mcサンプリングが$o(n^{-1/2})$のルート平均二乗誤差(rmse)を持つとき、rqmcは好適な設定で$o(n^{-3/2})$に近い$o(n^{-1/2})$のrmseを持つ。サンプリング精度の向上は直接的に最適化に寄与することを示す。 RQMCと確率的L-BFGSを用いることで最適化が大幅に高速化され、MCよりも優れたパラメータ値が見つかることがある。

関連論文リスト

Stochastic Optimal Control Matching [53.156277491861985]
最適制御のための新しい反復拡散最適化(IDO)技術である最適制御マッチング(SOCM)を導入する。この制御は、一致するベクトル場に適合しようとすることで、最小二乗問題を通じて学習される。実験により,本アルゴリズムは最適制御のための既存のすべての IDO 手法よりも低い誤差を実現する。
論文参考訳（メタデータ） (2023-12-04T16:49:43Z)
Training Chain-of-Thought via Latent-Variable Inference [30.21067593018967]
大規模言語モデル(LLM)は、チェーン・オブ・シンクレットのプロンプトを使って解答ステップを実行するように指示されたときに、より正確かつ解釈可能な問題を解決する。 CoTと教師付きチューニングを組み合わせるには、正しい回答だけでなく、それらの答えにつながる詳細な根拠の監督が必要である。そこで本研究では,CoTプロンプトを用いて正しい回答を生成することで,電子対数類似度を最大化するための微調整戦略を提案する。
論文参考訳（メタデータ） (2023-11-28T17:47:32Z)
Parallelized Acquisition for Active Learning using Monte Carlo Sampling [0.0]
近年,ガウス過程(GP)回帰に基づく後部エミュレータの使用が注目されている。ほぼ恥ずかしい並列シーケンシャルサンプリング器を用いて, 後頭部のモンテカルロサンプルを生成する方法を示す。得られたほぼ分類されたモンテカルロサンプルは、逐次条件付き取得関数値に従ってランク付けされた候補のバッチを生成するために使用される。
論文参考訳（メタデータ） (2023-05-30T17:57:34Z)
Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
論文参考訳（メタデータ） (2023-05-29T17:11:28Z)
Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
論文参考訳（メタデータ） (2022-05-12T11:15:47Z)
Bayesian Target-Vector Optimization for Efficient Parameter Reconstruction [0.0]
対象ベクトル最適化方式を導入し,モデル関数のコントリビューションのすべてについて検討し,パラメータ再構成問題に特に適している。また、実際のモデル関数の観測がほとんどない正確な不確実性推定を決定できる。
論文参考訳（メタデータ） (2022-02-23T15:13:32Z)
Langevin Monte Carlo: random coordinate descent and variance reduction [7.464874233755718]
Langevin Monte Carlo (LMC) はベイジアンサンプリング法として人気がある。 LMC上でのRCD(ランダム座標降下)の適用により計算効率を向上させる方法について検討する。
論文参考訳（メタデータ） (2020-07-26T18:14:36Z)
Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文参考訳（メタデータ） (2020-07-16T06:44:44Z)
Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
論文参考訳（メタデータ） (2020-07-15T03:25:24Z)
Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文参考訳（メタデータ） (2020-06-04T17:51:00Z)
Operator Sampling for Shot-frugal Optimization in Variational Algorithms [0.860968116787044]
本稿では,H = sum_i c_i h_i$ からランダムサンプリング演算子 $h_i$ を用いて測定回数(ショット)を減らす方法を提案する。我々は、量子ハードウェアノイズを伴わずに、分子H$、LiH、BeH$の基底状態を見つけるために、これや他のサンプリングを実装し、ほとんどの場合、ロザリンは他のサンプリングよりも優れている。
論文参考訳（メタデータ） (2020-04-14T01:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。