論文の概要: Training normalizing flows with computationally intensive target probability distributions

• arxiv url: http://arxiv.org/abs/2308.13294v1
• Date: Fri, 25 Aug 2023 10:40:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 14:21:58.648738
• Title: Training normalizing flows with computationally intensive target probability distributions
• Title（参考訳）: 計算集約的目標確率分布を用いた正規化流の訓練
• Authors: Piotr Bialas, Piotr Korcyl, Tomasz Stebel
• Abstract要約: 本稿では,REINFORCEアルゴリズムに基づく流れの正規化のための推定器を提案する。 ウォールタイムでは最大10倍高速で、最大30%のメモリを必要とする。
• 参考スコア（独自算出の注目度）: 0.018416014644193065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning techniques, in particular the so-called normalizing flows, are becoming increasingly popular in the context of Monte Carlo simulations as they can effectively approximate target probability distributions. In the case of lattice field theories (LFT) the target distribution is given by the exponential of the action. The common loss function's gradient estimator based on the "reparametrization trick" requires the calculation of the derivative of the action with respect to the fields. This can present a significant computational cost for complicated, non-local actions like e.g. fermionic action in QCD. In this contribution, we propose an estimator for normalizing flows based on the REINFORCE algorithm that avoids this issue. We apply it to two dimensional Schwinger model with Wilson fermions at criticality and show that it is up to ten times faster in terms of the wall-clock time as well as requiring up to $30\%$ less memory than the reparameterization trick estimator. It is also more numerically stable allowing for single precision calculations and the use of half-float tensor cores. We present an in-depth analysis of the origins of those improvements. We believe that these benefits will appear also outside the realm of the LFT, in each case where the target probability distribution is computationally intensive.
• Abstract（参考訳）: モンテカルロシミュレーションの文脈において、特に正規化フローと呼ばれる機械学習技術は、ターゲット確率分布を効果的に近似できるため、ますます普及している。 格子場理論(LFT)の場合、標的分布は作用の指数関数によって与えられる。 リパラメトリゼーション(reparametrization)トリック(reparametrization trick)に基づいた共通損失関数の勾配推定器は、フィールドに対する作用の微分の計算を必要とする。 これは、qcdにおけるフェルミオン作用のような複雑で非局所的な動作に対する重要な計算コストを示すことができる。 本稿では,この問題を回避する強化アルゴリズムに基づく流れの正規化のための推定器を提案する。 ウィルソンフェルミオンを臨界値に持つ2次元シュウィンガーモデルに適用し、壁時計時間の観点からは最大10倍高速であるとともに、再パラメータ化トリック推定器よりも最大30-%少ないメモリを必要とすることを示した。 また、より数値的に安定であり、単精度計算と半フロートテンソルコアの使用が可能である。 我々は,これらの改良の原点を詳細に分析する。 対象確率分布が計算集約的な場合において、これらの利点はLFTの領域外にも現れると信じている。

関連論文リスト

• Learning Optimal Flows for Non-Equilibrium Importance Sampling [13.469239537683299]
  簡単なベース分布からサンプルを生成し,速度場によって生成された流れに沿って移動し,これらの流れに沿って平均を実行する手法を開発した。 理論面では、ターゲットに対する速度場を調整し、提案した推定器が完全推定器となる一般的な条件を確立する方法について論じる。 計算面では、ニューラルネットワークによる速度場を表現するためにディープラーニングを使用して、ゼロ分散最適化に向けて学習する方法を示す。
  論文  参考訳（メタデータ） (2022-06-20T17:25:26Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Gradient estimators for normalising flows [0.05156484100374058]
  モンテカルロシミュレーションのための機械学習アプローチであるNeural Markov Chain Monte-Carloが注目を集めている。 計算を避けて、より複雑なアクションを持つモデルのトレーニングを高速化する別の勾配推定器を提案する。 また, 勾配推定器の統計特性について検討し, 定式化がより優れたトレーニング結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-02-02T22:37:58Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• SWIFT: Scalable Wasserstein Factorization for Sparse Nonnegative Tensors [42.154795547748165]
  本稿では、入力テンソルと再構成の距離を測定するワッサーシュタイン距離を最小化するSWIFTを紹介する。 SWIFT は、下流予測タスクのベースラインよりも 9.65% と 11.31% の改善を達成している。
  論文  参考訳（メタデータ） (2020-10-08T16:05:59Z)
• Resource-efficient adaptive Bayesian tracking of magnetic fields with a quantum sensor [0.0]
  単一スピン量子センサは、磁場のナノスケールマッピングを提供する。 磁場が急速に変化する可能性があるアプリケーションでは、全センシング時間を最小化しなければならない。 本稿では,近似ベイズ推定手法を実装することにより,計算速度の問題に対処する。
  論文  参考訳（メタデータ） (2020-08-20T11:04:09Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。