論文の概要: Bayesian Experimental Design for Implicit Models by Mutual Information
Neural Estimation
- arxiv url: http://arxiv.org/abs/2002.08129v3
- Date: Fri, 14 Aug 2020 15:04:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 13:34:45.043728
- Title: Bayesian Experimental Design for Implicit Models by Mutual Information
Neural Estimation
- Title(参考訳): 相互情報ニューラル推定による暗黙モデルに対するベイズ実験設計
- Authors: Steven Kleinegesse and Michael U. Gutmann
- Abstract要約: データ・ジェネレーションの分布が魅力的ながサンプリングが可能なインプリシット・モデルは、自然科学においてユビキタスである。
基本的な問題は、収集したデータが最も有用になるように実験を設計する方法である。
しかし、暗黙のモデルでは、この手法は後続計算の計算コストが高いために著しく妨げられている。
ニューラルネットワークをトレーニングして、MIの下位境界を最大化することで、最適な設計と後部を共同で決定できることが示される。
- 参考スコア(独自算出の注目度): 16.844481439960663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Implicit stochastic models, where the data-generation distribution is
intractable but sampling is possible, are ubiquitous in the natural sciences.
The models typically have free parameters that need to be inferred from data
collected in scientific experiments. A fundamental question is how to design
the experiments so that the collected data are most useful. The field of
Bayesian experimental design advocates that, ideally, we should choose designs
that maximise the mutual information (MI) between the data and the parameters.
For implicit models, however, this approach is severely hampered by the high
computational cost of computing posteriors and maximising MI, in particular
when we have more than a handful of design variables to optimise. In this
paper, we propose a new approach to Bayesian experimental design for implicit
models that leverages recent advances in neural MI estimation to deal with
these issues. We show that training a neural network to maximise a lower bound
on MI allows us to jointly determine the optimal design and the posterior.
Simulation studies illustrate that this gracefully extends Bayesian
experimental design for implicit models to higher design dimensions.
- Abstract(参考訳): 暗黙の確率モデル(データ生成分布は難解だがサンプリングは可能である)は自然科学においてユビキタスである。
モデルは通常、科学実験で収集されたデータから推測される必要のある自由パラメータを持つ。
基本的な問題は、収集したデータが最も有用になるように実験を設計する方法である。
ベイズの実験設計の分野は、理想的には、データとパラメータ間の相互情報(MI)を最大化する設計を選択するべきである。
しかしながら、暗黙のモデルの場合、このアプローチは後方計算とmiを最大化する高い計算コスト、特に最適化すべき設計変数がほんの一握り以上ある場合に深刻な障害となる。
本稿では,ニューラルMI推定の最近の進歩を利用してこれらの問題に対処する暗黙モデルに対するベイズ実験設計の新しいアプローチを提案する。
ニューラルネットワークをトレーニングして、MIの下位境界を最大化することで、最適な設計と後部を共同で決定できることを示す。
シミュレーション研究は、これは暗黙のモデルに対するベイズの実験設計をより高い設計次元に優雅に拡張していることを示している。
関連論文リスト
- Amortised Experimental Design and Parameter Estimation for User Models
of Pointing [5.076871870091048]
我々は、データを収集し、パラメーターをできるだけ効率的に推論するために実験をどのように設計するかを示す。
シミュレーション参加者を用いて実験設計を選択するための政策を訓練する。
提案手法は, モデル空間から採取したシリカ内エージェントと相互作用して, パラメータ推定に最も有用なデータを提供する実験を学習する。
論文 参考訳(メタデータ) (2023-07-19T10:17:35Z) - Online simulator-based experimental design for cognitive model selection [74.76661199843284]
本稿では,抽出可能な確率を伴わない計算モデルを選択する実験設計手法BOSMOSを提案する。
シミュレーション実験では,提案手法により,既存のLFI手法に比べて最大2桁の精度でモデルを選択することができることを示した。
論文 参考訳(メタデータ) (2023-03-03T21:41:01Z) - Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。
実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-10-07T02:12:34Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳(メタデータ) (2022-02-18T22:41:51Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳(メタデータ) (2021-11-15T09:08:27Z) - A Twin Neural Model for Uplift [59.38563723706796]
Upliftは条件付き治療効果モデリングの特定のケースです。
相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。
本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
論文 参考訳(メタデータ) (2021-05-11T16:02:39Z) - Gradient-based Bayesian Experimental Design for Implicit Models using
Mutual Information Lower Bounds [20.393359858407162]
ベイズ実験設計のためのフレームワーク(BED)を暗黙のモデルで導入する。データ生成分布は難解だが、そこからのサンプリングは可能である。
このようなモデルに最適な実験設計を見つけるために、ニューラルネットワークがパラメータとする相互情報の低い境界を最大化します。
ニューラルネットワークをサンプルデータ上でトレーニングすることで,勾配アセンシングを用いたネットワークパラメータと設計を同時に更新する。
論文 参考訳(メタデータ) (2021-05-10T13:59:25Z) - A Hybrid Gradient Method to Designing Bayesian Experiments for Implicit
Models [3.437223569602425]
最適設計は通常、データとモデルパラメータ間の相互情報(MI)を最大化することで達成される。
例えば、抽出可能なデータ分布を持つ暗黙のモデルを持つMIの分析式が利用できない場合、最近、MIのニューラルネットワークに基づく下界が提案され、下界を最大化するために勾配上昇法が用いられた。
分散MI推定器と進化戦略(ES)の最近の進歩と、ブラックボックス勾配上昇(SGA)を組み合わせ、MI下界を最大化するハイブリッドアプローチを提案します。
論文 参考訳(メタデータ) (2021-03-14T21:10:03Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳(メタデータ) (2020-12-08T18:03:21Z) - Sequential Bayesian Experimental Design for Implicit Models via Mutual
Information [12.68659360172393]
自然科学と医学科学に特に興味を持つモデルのクラスは暗黙のモデルである。
モデルパラメータとシミュレーションデータ間の相互情報(MI)を実用関数として用いたパラメータ推定のための新しい逐次設計フレームワークを考案する。
我々のフレームワークは、テストされた様々な暗黙のモデルに対して効率的であることが分かり、数回の反復で正確なパラメータ推定が得られます。
論文 参考訳(メタデータ) (2020-03-20T16:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。