論文の概要: Sequential Bayesian Experimental Design for Implicit Models via Mutual Information

• arxiv url: http://arxiv.org/abs/2003.09379v1
• Date: Fri, 20 Mar 2020 16:52:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 22:06:23.561587
• Title: Sequential Bayesian Experimental Design for Implicit Models via Mutual Information
• Title（参考訳）: 相互情報を用いた命令型モデルの逐次ベイズ実験設計
• Authors: Steven Kleinegesse, Christopher Drovandi, Michael U. Gutmann
• Abstract要約: 自然科学と医学科学に特に興味を持つモデルのクラスは暗黙のモデルである。 モデルパラメータとシミュレーションデータ間の相互情報(MI)を実用関数として用いたパラメータ推定のための新しい逐次設計フレームワークを考案する。 我々のフレームワークは、テストされた様々な暗黙のモデルに対して効率的であることが分かり、数回の反復で正確なパラメータ推定が得られます。
• 参考スコア（独自算出の注目度）: 12.68659360172393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian experimental design (BED) is a framework that uses statistical models and decision making under uncertainty to optimise the cost and performance of a scientific experiment. Sequential BED, as opposed to static BED, considers the scenario where we can sequentially update our beliefs about the model parameters through data gathered in the experiment. A class of models of particular interest for the natural and medical sciences are implicit models, where the data generating distribution is intractable, but sampling from it is possible. Even though there has been a lot of work on static BED for implicit models in the past few years, the notoriously difficult problem of sequential BED for implicit models has barely been touched upon. We address this gap in the literature by devising a novel sequential design framework for parameter estimation that uses the Mutual Information (MI) between model parameters and simulated data as a utility function to find optimal experimental designs, which has not been done before for implicit models. Our approach uses likelihood-free inference by ratio estimation to simultaneously estimate posterior distributions and the MI. During the sequential BED procedure we utilise Bayesian optimisation to help us optimise the MI utility. We find that our framework is efficient for the various implicit models tested, yielding accurate parameter estimates after only a few iterations.
• Abstract（参考訳）: ベイズ実験設計(Bayesian experimental design, BED)は、統計モデルと不確実性に基づく意思決定を用いて、科学実験のコストと性能を最適化するフレームワークである。 静的なBEDとは対照的に、Sequential BEDは実験で収集されたデータを通じてモデルパラメータに関する信念を逐次更新できるシナリオを考察する。 自然科学や医学に特に興味を持つモデルのクラスは暗黙のモデルであり、データ生成分布は難解であるが、それからのサンプリングは可能である。 過去数年間、暗黙的モデルに対する静的BEDに関する多くの作業があったが、暗黙的モデルに対するシーケンシャルBEDの非常に難しい問題は、ほとんど触れられていない。 モデルパラメータとシミュレートされたデータ間の相互情報(MI)を実用関数として用いたパラメータ推定のための新しい逐次設計フレームワークを考案し,これまで暗黙的モデルでは行われていなかった最適な実験設計を見つけることで,このギャップを解消する。 本手法では,後方分布とmiを同時に推定するために,比推定による確率自由推定を用いる。 シーケンシャルなBED手順では、ベイズ最適化を利用してMIユーティリティの最適化を支援します。 私たちのフレームワークはテストされたさまざまな暗黙のモデルに対して効率的であり、ほんの数回のイテレーションで正確なパラメータの見積もりが得られます。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• Correcting Model Bias with Sparse Implicit Processes [0.9187159782788579]
  SIP(Sparse Implicit Processes)は,データ生成機構がモデルによって入力されるものと強く異なる場合,モデルバイアスを補正できることを示す。 合成データセットを用いて、SIPは、初期推定モデルの正確な予測よりもデータをよりよく反映する予測分布を提供することができることを示す。
  論文  参考訳（メタデータ） (2022-07-21T18:00:01Z)
• Model Comparison in Approximate Bayesian Computation [0.456877715768796]
  自然科学における一般的な問題は、観測されたデータに照らして競合するモデルの比較である。 この枠組みは、実際に使用されるほとんどのモデルにとって難解な確率関数の計算に依存している。 ABCにおけるベイズモデルの比較を行うための新しい効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T10:24:16Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Gradient-based Bayesian Experimental Design for Implicit Models using Mutual Information Lower Bounds [20.393359858407162]
  ベイズ実験設計のためのフレームワーク(BED)を暗黙のモデルで導入する。データ生成分布は難解だが、そこからのサンプリングは可能である。 このようなモデルに最適な実験設計を見つけるために、ニューラルネットワークがパラメータとする相互情報の低い境界を最大化します。 ニューラルネットワークをサンプルデータ上でトレーニングすることで,勾配アセンシングを用いたネットワークパラメータと設計を同時に更新する。
  論文  参考訳（メタデータ） (2021-05-10T13:59:25Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
  本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。 提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。 提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-22T15:15:46Z)
• Nonparametric Estimation in the Dynamic Bradley-Terry Model [69.70604365861121]
  カーネルのスムース化に依存する新しい推定器を開発し、時間とともにペア比較を前処理する。 モデルに依存しない設定における推定誤差と余剰リスクの両方について時間変化のオラクル境界を導出する。
  論文  参考訳（メタデータ） (2020-02-28T21:52:49Z)
• Bayesian Experimental Design for Implicit Models by Mutual Information Neural Estimation [16.844481439960663]
  データ・ジェネレーションの分布が魅力的ながサンプリングが可能なインプリシット・モデルは、自然科学においてユビキタスである。 基本的な問題は、収集したデータが最も有用になるように実験を設計する方法である。 しかし、暗黙のモデルでは、この手法は後続計算の計算コストが高いために著しく妨げられている。 ニューラルネットワークをトレーニングして、MIの下位境界を最大化することで、最適な設計と後部を共同で決定できることが示される。
  論文  参考訳（メタデータ） (2020-02-19T12:09:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。