論文の概要: A Hybrid Gradient Method to Designing Bayesian Experiments for Implicit Models

• arxiv url: http://arxiv.org/abs/2103.08594v1
• Date: Sun, 14 Mar 2021 21:10:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-18 01:33:00.741563
• Title: A Hybrid Gradient Method to Designing Bayesian Experiments for Implicit Models
• Title（参考訳）: 入射モデルに対するベイズ実験設計のためのハイブリッド勾配法
• Authors: Jiaxin Zhang, Sirui Bi, Guannan Zhang
• Abstract要約: 最適設計は通常、データとモデルパラメータ間の相互情報(MI)を最大化することで達成される。 例えば、抽出可能なデータ分布を持つ暗黙のモデルを持つMIの分析式が利用できない場合、最近、MIのニューラルネットワークに基づく下界が提案され、下界を最大化するために勾配上昇法が用いられた。 分散MI推定器と進化戦略(ES)の最近の進歩と、ブラックボックス勾配上昇(SGA)を組み合わせ、MI下界を最大化するハイブリッドアプローチを提案します。
• 参考スコア（独自算出の注目度）: 3.437223569602425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian experimental design (BED) aims at designing an experiment to maximize the information gathering from the collected data. The optimal design is usually achieved by maximizing the mutual information (MI) between the data and the model parameters. When the analytical expression of the MI is unavailable, e.g., having implicit models with intractable data distributions, a neural network-based lower bound of the MI was recently proposed and a gradient ascent method was used to maximize the lower bound. However, the approach in Kleinegesse et al., 2020 requires a pathwise sampling path to compute the gradient of the MI lower bound with respect to the design variables, and such a pathwise sampling path is usually inaccessible for implicit models. In this work, we propose a hybrid gradient approach that leverages recent advances in variational MI estimator and evolution strategies (ES) combined with black-box stochastic gradient ascent (SGA) to maximize the MI lower bound. This allows the design process to be achieved through a unified scalable procedure for implicit models without sampling path gradients. Several experiments demonstrate that our approach significantly improves the scalability of BED for implicit models in high-dimensional design space.
• Abstract（参考訳）: ベイズ実験設計(BED)は,収集したデータから収集した情報を最大化する実験を設計することを目的としている。 最適設計は通常、データとモデルパラメータ間の相互情報(MI)を最大化することで達成される。 例えば、抽出可能なデータ分布を持つ暗黙のモデルを持つMIの分析式が利用できない場合、最近、MIのニューラルネットワークに基づく下界が提案され、下界を最大化するために勾配上昇法が用いられた。 しかしながら、2020年のkleinegesseらによるアプローチでは、設計変数に対するmi下界の勾配を計算するためにパスワイズサンプリングパスが必要であり、そのようなパスワイズサンプリングパスは通常、暗黙のモデルではアクセスできない。 本研究では,変分mi推定器と進化戦略(es)の最近の進歩とブラックボックス確率勾配上昇(sga)を組み合わせて,mi下界を最大化するハイブリッド勾配手法を提案する。 これにより、経路勾配をサンプリングすることなく、暗黙のモデルに対して統一的なスケーラブルな手順で設計プロセスを実現できる。 提案手法は,高次元設計空間における暗黙的モデルに対するBEDのスケーラビリティを著しく向上することを示す。

関連論文リスト

• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Latent Energy-Based Odyssey: Black-Box Optimization via Expanded Exploration in the Energy-Based Latent Space [65.44449711359724]
  ブラックボックス関数の高次元かつ高マルチモーダルな入力設計空間は、既存の手法に固有の課題をもたらす。 設計値の結合空間の圧縮的かつ正確な表現として機能する潜在空間の発見を検討する。 本稿では, 高精度潜時空間モデルの変分学習のための雑音強調型テレスコープ密度比推定法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T00:11:53Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Protein Design with Guided Discrete Diffusion [67.06148688398677]
  タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。 離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。 NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
  論文  参考訳（メタデータ） (2023-05-31T16:31:24Z)
• Gradient-based Bayesian Experimental Design for Implicit Models using Mutual Information Lower Bounds [20.393359858407162]
  ベイズ実験設計のためのフレームワーク(BED)を暗黙のモデルで導入する。データ生成分布は難解だが、そこからのサンプリングは可能である。 このようなモデルに最適な実験設計を見つけるために、ニューラルネットワークがパラメータとする相互情報の低い境界を最大化します。 ニューラルネットワークをサンプルデータ上でトレーニングすることで,勾配アセンシングを用いたネットワークパラメータと設計を同時に更新する。
  論文  参考訳（メタデータ） (2021-05-10T13:59:25Z)
• A Scalable Gradient-Free Method for Bayesian Experimental Design with Implicit Models [3.437223569602425]
  確率が難解であるがサンプリングが可能である暗黙のモデルでは、従来のベッド法では後方分布を効率的に推定することが困難である。 最近の研究では、これらの問題に対処するためにMIの低い境界を最大化するグラデーションアセンションの使用を提案しました。 効率的かつ堅牢なBEDを実現するための、平滑な変動MIを組み込んだ近似勾配上昇の最近の進歩を活用する新しいアプローチを提案します。
  論文  参考訳（メタデータ） (2021-03-14T20:28:51Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Bayesian Experimental Design for Implicit Models by Mutual Information Neural Estimation [16.844481439960663]
  データ・ジェネレーションの分布が魅力的ながサンプリングが可能なインプリシット・モデルは、自然科学においてユビキタスである。 基本的な問題は、収集したデータが最も有用になるように実験を設計する方法である。 しかし、暗黙のモデルでは、この手法は後続計算の計算コストが高いために著しく妨げられている。 ニューラルネットワークをトレーニングして、MIの下位境界を最大化することで、最適な設計と後部を共同で決定できることが示される。
  論文  参考訳（メタデータ） (2020-02-19T12:09:42Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。