論文の概要: When can Regression-Adjusted Control Variates Help? Rare Events, Sobolev Embedding and Minimax Optimality

• arxiv url: http://arxiv.org/abs/2305.16527v1
• Date: Thu, 25 May 2023 23:09:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 17:47:53.903636
• Title: When can Regression-Adjusted Control Variates Help? Rare Events, Sobolev Embedding and Minimax Optimality
• Title（参考訳）: 回帰調整制御はいつ助けになるのか? 希少事象、ソボレフ埋め込みとミニマックス最適性
• Authors: Jose Blanchet, Haoxuan Chen, Yiping Lu, Lexing Ying
• Abstract要約: 機械学習に基づく推定器を用いてモンテカルロサンプリングの分散を緩和できることが示される。 希少かつ極端な事象が存在する場合、モンテカルロアルゴリズムの切り詰められたバージョンは、最小値の最適速度を達成することができる。
• 参考スコア（独自算出の注目度）: 10.21792151799121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the use of a machine learning-based estimator as a control variate for mitigating the variance of Monte Carlo sampling. Specifically, we seek to uncover the key factors that influence the efficiency of control variates in reducing variance. We examine a prototype estimation problem that involves simulating the moments of a Sobolev function based on observations obtained from (random) quadrature nodes. Firstly, we establish an information-theoretic lower bound for the problem. We then study a specific quadrature rule that employs a nonparametric regression-adjusted control variate to reduce the variance of the Monte Carlo simulation. We demonstrate that this kind of quadrature rule can improve the Monte Carlo rate and achieve the minimax optimal rate under a sufficient smoothness assumption. Due to the Sobolev Embedding Theorem, the sufficient smoothness assumption eliminates the existence of rare and extreme events. Finally, we show that, in the presence of rare and extreme events, a truncated version of the Monte Carlo algorithm can achieve the minimax optimal rate while the control variate cannot improve the convergence rate.
• Abstract（参考訳）: 本稿では,モンテカルロサンプリングの分散を緩和する制御変数として,機械学習に基づく推定器の利用について検討する。 具体的には,制御効率に影響を及ぼす要因を解明し,分散の低減を図る。 本研究では,(ランダム)四次ノードから得られた観測に基づいて,ソボレフ関数のモーメントをシミュレーションするプロトタイプ推定問題を検討する。 まず,この問題に対する情報理論上の下界を確立する。 次に、モンテカルロシミュレーションのばらつきを低減するために、非パラメトリック回帰調整制御バリアイトを用いた特定の二次規則を研究する。 この種の二次規則はモンテカルロ率を向上し、十分滑らかな仮定の下でミニマックス最適率を達成することを実証する。 ソボレフ埋め込み定理により、十分な滑らかさの仮定は希少かつ極端な事象の存在を排除する。 最後に, 希少かつ極端な事象が存在する場合, モンテカルロアルゴリズムの停止版は最小最大最適速度を達成できるが, 制御変数は収束率を向上できないことを示した。

関連論文リスト

• Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
  SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。 シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
  論文  参考訳（メタデータ） (2024-03-15T18:13:48Z)
• A Quadrature Rule combining Control Variates and Adaptive Importance Sampling [0.0]
  モンテカルロ積分推定の精度を向上させるために, 単純重み付き最小二乗法が有効であることを示す。 我々の主な成果は、プロシージャの確率的誤差の非漸近的境界である。 この手法のよい振る舞いは、ベイズ線形回帰のための合成例と実世界のデータに実証的に説明される。
  論文  参考訳（メタデータ） (2022-05-24T08:21:45Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• The Variational Method of Moments [65.91730154730905]
  条件モーメント問題は、観測可能量の観点から構造因果パラメータを記述するための強力な定式化である。 OWGMMの変動最小値再構成により、条件モーメント問題に対する非常に一般的な推定器のクラスを定義する。 同じ種類の変分変換に基づく統計的推測のためのアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2020-12-17T07:21:06Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Isotonic regression with unknown permutations: Statistics, computation, and adaptation [13.96377843988598]
  我々は、推定のミニマックスリスク(実証的な$L$損失)と適応の基本的な限界(適応度指数で定式化)について検討する。 バニラ時間プロシージャで可能な最小適応率を達成しつつ、最小限の最適化が可能なミルスキー分割推定器を提供する。 相補的な方向において、既存の推定器の自然な修正は、デシデラタの最適統計性能、計算効率、高速適応の少なくとも1つを満たすことができないことを示す。
  論文  参考訳（メタデータ） (2020-09-05T22:17:51Z)
• A Framework for Sample Efficient Interval Estimation with Control Variates [94.32811054797148]
  確率変数の平均に対して信頼区間を推定する問題を考察する。 ある条件下では、既存の推定アルゴリズムと比較して効率が向上している。
  論文  参考訳（メタデータ） (2020-06-18T05:42:30Z)
• Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization [62.47170258504037]
  本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。 新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
  論文  参考訳（メタデータ） (2020-06-12T22:03:25Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Amortized variance reduction for doubly stochastic objectives [17.064916635597417]
  複素確率モデルにおける近似推論は二重目的関数の最適化を必要とする。 現在のアプローチでは、ミニバッチがサンプリング性にどのように影響するかを考慮せず、結果として準最適分散が減少する。 本稿では,認識ネットワークを用いて各ミニバッチに対して最適な制御変数を安価に近似する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T13:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。