論文の概要: A Scalable Gradient-Free Method for Bayesian Experimental Design with Implicit Models

• arxiv url: http://arxiv.org/abs/2103.08026v1
• Date: Sun, 14 Mar 2021 20:28:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-17 04:01:53.782884
• Title: A Scalable Gradient-Free Method for Bayesian Experimental Design with Implicit Models
• Title（参考訳）: 暗黙モデルを用いたベイズ実験設計のためのスケーラブルグラデーションフリー手法
• Authors: Jiaxin Zhang, Sirui Bi, Guannan Zhang
• Abstract要約: 確率が難解であるがサンプリングが可能である暗黙のモデルでは、従来のベッド法では後方分布を効率的に推定することが困難である。 最近の研究では、これらの問題に対処するためにMIの低い境界を最大化するグラデーションアセンションの使用を提案しました。 効率的かつ堅牢なBEDを実現するための、平滑な変動MIを組み込んだ近似勾配上昇の最近の進歩を活用する新しいアプローチを提案します。
• 参考スコア（独自算出の注目度）: 3.437223569602425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian experimental design (BED) is to answer the question that how to choose designs that maximize the information gathering. For implicit models, where the likelihood is intractable but sampling is possible, conventional BED methods have difficulties in efficiently estimating the posterior distribution and maximizing the mutual information (MI) between data and parameters. Recent work proposed the use of gradient ascent to maximize a lower bound on MI to deal with these issues. However, the approach requires a sampling path to compute the pathwise gradient of the MI lower bound with respect to the design variables, and such a pathwise gradient is usually inaccessible for implicit models. In this paper, we propose a novel approach that leverages recent advances in stochastic approximate gradient ascent incorporated with a smoothed variational MI estimator for efficient and robust BED. Without the necessity of pathwise gradients, our approach allows the design process to be achieved through a unified procedure with an approximate gradient for implicit models. Several experiments show that our approach outperforms baseline methods, and significantly improves the scalability of BED in high-dimensional problems.
• Abstract（参考訳）: ベイズ実験設計(BED)は、情報収集を最大化する設計を選択する方法という質問に答えることです。 暗黙的なモデルでは、サンプリングが可能であり、従来のBED法では、後方分布を効率的に推定し、データとパラメータ間の相互情報(MI)を最大化するのが困難である。 最近の研究では、これらの問題に対処するためにMIの低い境界を最大化するグラデーションアセンションの使用を提案しました。 しかし、この手法では設計変数に関してMI下限の経路勾配を計算するためにサンプリングパスが必要であり、そのような経路勾配は通常暗黙のモデルでは到達できない。 本論文では, 確率的近似勾配上昇の最近の進歩を有効かつ堅牢なBEDのための平滑な変動MI推定器に組み込んだ新しい手法を提案する。 経路勾配の必要がなければ,本手法は暗黙的モデルに対して近似的な勾配を持つ統一的な手順で設計プロセスを実現することができる。 いくつかの実験により,本手法はベースライン法より優れ,高次元問題におけるBEDのスケーラビリティが著しく向上することが示された。

関連論文リスト

• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Diagonalisation SGD: Fast & Convergent SGD for Non-Differentiable Models via Reparameterisation and Smoothing [1.6114012813668932]
  微分不可能な関数を断片的に定義するための単純なフレームワークを導入し,スムース化を得るための体系的なアプローチを提案する。 我々の主な貢献は SGD の新たな変種 Diagonalisation Gradient Descent であり、滑らかな近似の精度を徐々に向上させる。 我々のアプローチは単純で高速で安定であり、作業正規化分散の桁数削減を実現している。
  論文  参考訳（メタデータ） (2024-02-19T00:43:22Z)
• Conflict-Averse Gradient Optimization of Ensembles for Effective Offline Model-Based Optimization [0.0]
  我々は、多重勾配降下アルゴリズム(MGDA)と競合逆勾配降下アルゴリズム(CAGrad)の2つの勾配情報を組み合わせたアルゴリズムを評価する。 以上の結果から,MGDAとCAGradは保存性と最適性の間に望ましいバランスを保ち,設計の最適性を損なうことなく,データ駆動型オフラインMBOの堅牢化に寄与することが示唆された。
  論文  参考訳（メタデータ） (2023-03-31T10:00:27Z)
• VI-DGP: A variational inference method with deep generative prior for solving high-dimensional inverse problems [0.7734726150561089]
  本研究では,高次元後方分布を推定するための新しい近似法を提案する。 このアプローチは、深層生成モデルを利用して、空間的に変化するパラメータを生成することができる事前モデルを学ぶ。 提案手法は自動微分方式で完全に実装できる。
  論文  参考訳（メタデータ） (2023-02-22T06:48:10Z)
• Query-Efficient Black-box Adversarial Attacks Guided by a Transfer-based Prior [50.393092185611536]
  対象モデルの勾配にアクセスできることなく、敵が敵の例を作らなければならないブラックボックスの敵設定を考える。 従来の手法では、代用ホワイトボックスモデルの転送勾配を用いたり、モデルクエリのフィードバックに基づいて真の勾配を近似しようとした。 偏りサンプリングと勾配平均化に基づく2つの事前誘導型ランダム勾配フリー(PRGF)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-13T04:06:27Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• A Hybrid Gradient Method to Designing Bayesian Experiments for Implicit Models [3.437223569602425]
  最適設計は通常、データとモデルパラメータ間の相互情報(MI)を最大化することで達成される。 例えば、抽出可能なデータ分布を持つ暗黙のモデルを持つMIの分析式が利用できない場合、最近、MIのニューラルネットワークに基づく下界が提案され、下界を最大化するために勾配上昇法が用いられた。 分散MI推定器と進化戦略(ES)の最近の進歩と、ブラックボックス勾配上昇(SGA)を組み合わせ、MI下界を最大化するハイブリッドアプローチを提案します。
  論文  参考訳（メタデータ） (2021-03-14T21:10:03Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。