論文の概要: Unbiased MLMC stochastic gradient-based optimization of Bayesian experimental designs

• arxiv url: http://arxiv.org/abs/2005.08414v3
• Date: Wed, 28 Jul 2021 05:13:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 00:23:22.288027
• Title: Unbiased MLMC stochastic gradient-based optimization of Bayesian experimental designs
• Title（参考訳）: バイアスのないMLMC確率勾配に基づくベイズ実験設計の最適化
• Authors: Takashi Goda, Tomohiko Hironaka, Wataru Kitade, Adam Foster
• Abstract要約: 実験的な設計パラメータに対する期待情報ゲインの勾配は、ネスト予測によって与えられる。 我々は,期待される情報ゲインの勾配を,期待される$ell$-norm,期待されるサンプル当たりの計算コストで推定するモンテカルロ推定器を導入する。
• 参考スコア（独自算出の注目度）: 4.112293524466434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we propose an efficient stochastic optimization algorithm to search for Bayesian experimental designs such that the expected information gain is maximized. The gradient of the expected information gain with respect to experimental design parameters is given by a nested expectation, for which the standard Monte Carlo method using a fixed number of inner samples yields a biased estimator. In this paper, applying the idea of randomized multilevel Monte Carlo (MLMC) methods, we introduce an unbiased Monte Carlo estimator for the gradient of the expected information gain with finite expected squared $\ell_2$-norm and finite expected computational cost per sample. Our unbiased estimator can be combined well with stochastic gradient descent algorithms, which results in our proposal of an optimization algorithm to search for an optimal Bayesian experimental design. Numerical experiments confirm that our proposed algorithm works well not only for a simple test problem but also for a more realistic pharmacokinetic problem.
• Abstract（参考訳）: 本稿では,期待情報ゲインを最大化するベイズ実験設計を探索する効率的な確率最適化アルゴリズムを提案する。 実験的な設計パラメータに対する期待情報ゲインの勾配は、一定の数の内部サンプルを用いた標準モンテカルロ法が偏りのある推定値を与えるネスト期待値によって与えられる。 本稿では,ランダム化されたマルチレベルモンテカルロ法(MLMC)を応用し,期待される情報ゲインの勾配の勾配を,標本当たりの$\ell_2$-norm,予測計算コストを有限とした非偏差モンテカルロ推定器を提案する。 偏りのない推定器は確率勾配降下アルゴリズムとうまく組み合わせることができるため,最適なベイズ実験設計を探索するための最適化アルゴリズムが提案されている。 数値実験により,提案アルゴリズムは単純なテスト問題だけでなく,より現実的な薬物動態問題にも有効であることが確認された。

関連論文リスト

• Scalable method for Bayesian experimental design without integrating over posterior distribution [0.0]
  実験問題のA-最適ベイズ設計における計算効率について検討する。 A-最適性はベイズの実験設計に広く用いられ、容易に解釈できる基準である。 本研究は, A-Optimal 実験設計における新しい可能性のないアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-30T12:40:43Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Bayesian Experimental Design for Symbolic Discovery [12.855710007840479]
  我々は、ハミルトンモンテカルロを用いて、適切な選択基準を最適化するために制約付き一階法を適用する。 畳み込みを含む予測分布を計算するステップは、数値積分または高速変換法によって計算される。
  論文  参考訳（メタデータ） (2022-11-29T01:25:29Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic Optimization [1.7513645771137178]
  勾配情報のない制約のない最適化問題を考察する。 適応的なサンプリング準ニュートン法を提案し、共通乱数フレームワーク内の有限差を用いてシミュレーション関数の勾配を推定する。 そこで本研究では, 標準試験と内積準ニュートン試験の修正版を開発し, 近似に使用する試料サイズを制御し, 最適解の近傍に大域収束結果を与える。
  論文  参考訳（メタデータ） (2021-09-24T21:49:25Z)
• Stochastic Learning Approach to Binary Optimization for Optimal Design of Experiments [0.0]
  本稿では,偏微分方程式などの数学モデルによるベイズ逆問題に対する最適実験設計 (OED) のための二項最適化への新しいアプローチを提案する。 OEDユーティリティ関数、すなわち正規化された最適性勾配はベルヌーイ分布に対する期待の形で目的関数にキャストされる。 この目的を確率的最適化ルーチンを用いて最適な観測方針を求めることで解決する。
  論文  参考訳（メタデータ） (2021-01-15T03:54:12Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Optimal Bayesian experimental design for subsurface flow problems [77.34726150561087]
  本稿では,設計ユーティリティ機能のためのカオス拡張サロゲートモデル(PCE)の開発のための新しいアプローチを提案する。 この手法により,対象関数に対する適切な品質応答面の導出が可能となり,計算予算は複数の単点評価に匹敵する。
  論文  参考訳（メタデータ） (2020-08-10T09:42:59Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)
• Efficient Debiased Evidence Estimation by Multilevel Monte Carlo Sampling [0.0]
  ベイズ推論に基づくマルチレベルモンテカルロ法(MLMC)の最適化手法を提案する。 計算結果から,従来の推定値と比較すると,かなりの計算量の削減が確認できた。
  論文  参考訳（メタデータ） (2020-01-14T09:14:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。