論文の概要: On Estimating the Gradient of the Expected Information Gain in Bayesian Experimental Design

• arxiv url: http://arxiv.org/abs/2308.09888v2
• Date: Tue, 12 Dec 2023 21:21:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 20:25:31.596764
• Title: On Estimating the Gradient of the Expected Information Gain in Bayesian Experimental Design
• Title（参考訳）: ベイズ実験設計における期待情報ゲインの勾配の推定について
• Authors: Ziqiao Ao, Jinglai Li
• Abstract要約: 我々は,勾配降下アルゴリズムと組み合わせてEIGの勾配を推定する手法を開発し,EIGの効率的な最適化を実現する。 そこで本研究では,EIG勾配を推定するための2つの手法,EIG勾配を推定するために後方サンプルを利用するUEEG-MCMC,パラメータサンプルを繰り返し使用して高いシミュレーション効率を実現するBEEG-APを提案する。
• 参考スコア（独自算出の注目度）: 5.874142059884521
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Experimental Design (BED), which aims to find the optimal experimental conditions for Bayesian inference, is usually posed as to optimize the expected information gain (EIG). The gradient information is often needed for efficient EIG optimization, and as a result the ability to estimate the gradient of EIG is essential for BED problems. The primary goal of this work is to develop methods for estimating the gradient of EIG, which, combined with the stochastic gradient descent algorithms, result in efficient optimization of EIG. Specifically, we first introduce a posterior expected representation of the EIG gradient with respect to the design variables. Based on this, we propose two methods for estimating the EIG gradient, UEEG-MCMC that leverages posterior samples generated through Markov Chain Monte Carlo (MCMC) to estimate the EIG gradient, and BEEG-AP that focuses on achieving high simulation efficiency by repeatedly using parameter samples. Theoretical analysis and numerical studies illustrate that UEEG-MCMC is robust agains the actual EIG value, while BEEG-AP is more efficient when the EIG value to be optimized is small. Moreover, both methods show superior performance compared to several popular benchmarks in our numerical experiments.
• Abstract（参考訳）: ベイズ推定のための最適実験条件を見つけることを目的としたベイズ実験設計(BED)は通常、期待情報ゲイン(EIG)を最適化するために行われる。 勾配情報はしばしば効率的なEIG最適化のために必要であり、その結果、BED問題にはEIGの勾配を推定する能力が不可欠である。 本研究の目的は, 確率的勾配降下アルゴリズムと組み合わせることで, eigの効率的な最適化を実現するために, eigの勾配推定法を開発することである。 具体的には、まず、設計変数に関するEIG勾配の後方予測表現を導入する。 そこで本研究では,EIG勾配の推定手法として,マルコフ・チェイン・モンテカルロ (MCMC) が生成した後続サンプルを用いてEIG勾配を推定するUEEG-MCMCと,パラメータサンプルを繰り返し使用して高いシミュレーション効率を実現するBEEG-APを提案する。 理論的解析および数値解析により、UEEG-MCMCは実際のEIG値を再び堅牢にし、BEEG-APは最適化されるEIG値が小さい場合により効率的であることが示された。 さらに,これらの手法は,数値実験でよく用いられるベンチマークよりも優れた性能を示す。

関連論文リスト

• Expected Information Gain Estimation via Density Approximations: Sample Allocation and Dimension Reduction [0.40964539027092906]
  一般非線形/非ガウス的設定におけるEIG推定のためのフレキシブルトランスポートに基づくスキームを定式化する。 この最適サンプル割り当てにより、得られたEIG推定器のMSEは標準ネストされたモンテカルロスキームよりも高速に収束することを示す。 次に、パラメータを投影し、低次元部分空間に観測することで失われる相互情報の勾配に基づく上界を導出することにより、高次元でのEIGの推定に対処する。
  論文  参考訳（メタデータ） (2024-11-13T07:22:50Z)
• Bayesian Experimental Design via Contrastive Diffusions [2.2186678387006435]
  実験設計(BOED)は、一連の実験の実行コストを削減する強力なツールである。 コスト効率の良い後続分布を導入し,EIGコントラストへのトラクタアクセスを提供する。 生成モデルをBOEDフレームワークに組み込むことで、以前は非現実的であったシナリオにおいて、そのスコープと使用範囲を広げる。
  論文  参考訳（メタデータ） (2024-10-15T17:53:07Z)
• A Likelihood-Free Approach to Goal-Oriented Bayesian Optimal Experimental Design [0.0]
  本稿では,非線形観測および予測モデルを用いたGO-OEDの計算方法であるLF-GO-OED(likelihood-free goal-oriented optimal experiment design)を紹介する。 暗黙のモデルに適応するように特別に設計されている。 本手法は既存の方法によるベンチマーク問題で検証され,疫学および神経科学の科学的応用で実証された。
  論文  参考訳（メタデータ） (2024-08-18T19:45:49Z)
• Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
  予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。 実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-07T02:12:34Z)
• Robust Expected Information Gain for Optimal Bayesian Experimental Design Using Ambiguity Sets [0.0]
  我々は、経験的期待情報ゲイン(REIG)を定義し、分析する。 REIGは、摂動分布のあいまいな集合上でのEIGのアフィン緩和を最小化することにより、EIGの目的を変更したものである。 EIGを推定するためのサンプリングベースアプローチと組み合わせると、REIGはEIGを推定するのに使用するサンプルの対数-sum-expの安定化に対応することを示す。
  論文  参考訳（メタデータ） (2022-05-20T01:07:41Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
  我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
  論文  参考訳（メタデータ） (2020-05-03T00:58:23Z)
• Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients [54.90670513852325]
  サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。 EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。 EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
  論文  参考訳（メタデータ） (2020-02-20T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。