論文の概要: Gradient estimators for normalising flows

• arxiv url: http://arxiv.org/abs/2202.01314v1
• Date: Wed, 2 Feb 2022 22:37:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-04 13:47:51.978421
• Title: Gradient estimators for normalising flows
• Title（参考訳）: 流れの正規化のための勾配推定器
• Authors: Piotr Bialas and Piotr Korcyl and Tomasz Stebel
• Abstract要約: モンテカルロシミュレーションのための機械学習アプローチであるNeural Markov Chain Monte-Carloが注目を集めている。 計算を避けて、より複雑なアクションを持つモデルのトレーニングを高速化する別の勾配推定器を提案する。 また, 勾配推定器の統計特性について検討し, 定式化がより優れたトレーニング結果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 0.05156484100374058
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently a machine learning approach to Monte-Carlo simulations called Neural Markov Chain Monte-Carlo (NMCMC) is gaining traction. In its most popular form it uses the neural networks to construct normalizing flows which are then trained to approximate the desired target distribution. As this distribution is usually defined via a Hamiltonian or action, the standard learning algorithm requires estimation of the action gradient with respect to the fields. In this contribution we present another gradient estimator (and the corresponding [PyTorch implementation) that avoids this calculation, thus potentially speeding up training for models with more complicated actions. We also study the statistical properties of several gradient estimators and show that our formulation leads to better training results.
• Abstract（参考訳）: 近年,Neural Markov Chain Monte-Carlo (NMCMC)と呼ばれるモンテカルロシミュレーションへの機械学習アプローチが注目を集めている。 最も一般的な形式では、ニューラルネットワークを使用して正規化フローを構築し、次に、所望のターゲット分布を近似するように訓練する。 この分布は通常ハミルトニアンまたは作用によって定義されるので、標準学習アルゴリズムはフィールドに対する作用勾配の推定を必要とする。 このコントリビューションでは、この計算を避ける別の勾配推定器(および対応する[PyTorch実装)を提示し、より複雑なアクションを持つモデルのトレーニングを高速化する可能性がある。 また, 勾配推定器の統計特性について検討し, 定式化がトレーニング結果の改善につながることを示す。

関連論文リスト

• Training normalizing flows with computationally intensive target probability distributions [0.018416014644193065]
  本稿では,REINFORCEアルゴリズムに基づく流れの正規化のための推定器を提案する。 ウォールタイムでは最大10倍高速で、最大30%のメモリを必要とする。
  論文  参考訳（メタデータ） (2023-08-25T10:40:46Z)
• Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
  モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。 この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
  論文  参考訳（メタデータ） (2023-07-06T15:19:53Z)
• Classified as unknown: A novel Bayesian neural network [0.0]
  完全連結ニューラルネットワークのための効率の良いベイズ学習アルゴリズムを開発した。 多層パーセプトロンから多層パーセプトロンへの二元分類のための単一パーセプトロンのアルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2023-01-31T04:27:09Z)
• Learning Optimal Flows for Non-Equilibrium Importance Sampling [13.469239537683299]
  簡単なベース分布からサンプルを生成し,速度場によって生成された流れに沿って移動し,これらの流れに沿って平均を実行する手法を開発した。 理論面では、ターゲットに対する速度場を調整し、提案した推定器が完全推定器となる一般的な条件を確立する方法について論じる。 計算面では、ニューラルネットワークによる速度場を表現するためにディープラーニングを使用して、ゼロ分散最適化に向けて学習する方法を示す。
  論文  参考訳（メタデータ） (2022-06-20T17:25:26Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Stochastic normalizing flows as non-equilibrium transformations [62.997667081978825]
  正規化フローは従来のモンテカルロシミュレーションよりも効率的に格子場理論をサンプリングするための経路を提供することを示す。 本稿では,この拡張された生成モデルの効率を最適化する戦略と応用例を示す。
  論文  参考訳（メタデータ） (2022-01-21T19:00:18Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。