論文の概要: Fast and Unified Path Gradient Estimators for Normalizing Flows

• arxiv url: http://arxiv.org/abs/2403.15881v1
• Date: Sat, 23 Mar 2024 16:21:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 20:42:03.552871
• Title: Fast and Unified Path Gradient Estimators for Normalizing Flows
• Title（参考訳）: 流れの正規化のための高速・統一経路勾配推定器
• Authors: Lorenz Vaitl, Ludwig Winkler, Lorenz Richter, Pan Kessel,
• Abstract要約: 流れの正規化のための経路勾配推定器は, 変分推定のための標準推定器に比べて, ばらつきが小さい。 計算効率を大幅に向上させる高速経路勾配推定器を提案する。 我々は、いくつかの自然科学応用において、その優れた性能と分散を実証的に確立する。
• 参考スコア（独自算出の注目度）: 5.64979077798699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work shows that path gradient estimators for normalizing flows have lower variance compared to standard estimators for variational inference, resulting in improved training. However, they are often prohibitively more expensive from a computational point of view and cannot be applied to maximum likelihood training in a scalable manner, which severely hinders their widespread adoption. In this work, we overcome these crucial limitations. Specifically, we propose a fast path gradient estimator which improves computational efficiency significantly and works for all normalizing flow architectures of practical relevance. We then show that this estimator can also be applied to maximum likelihood training for which it has a regularizing effect as it can take the form of a given target energy function into account. We empirically establish its superior performance and reduced variance for several natural sciences applications.
• Abstract（参考訳）: 近年の研究では, 流れの正規化のための経路勾配推定器は, 変分推定のための標準推定器に比べてばらつきが低く, 訓練精度が向上した。 しかし、計算的な観点からは、しばしば禁止的に高価であり、拡張性のある最大限のトレーニングには適用できないため、広く普及するのを著しく妨げている。 この作業では、これらの決定的な制限を克服します。 具体的には,計算効率を大幅に向上させる高速経路勾配推定器を提案する。 この推定器は、与えられた目標エネルギー関数の形式を考慮し、正規化効果を有する最大極大訓練にも適用可能であることを示す。 我々は、いくつかの自然科学応用において、その優れた性能と分散を実証的に確立する。

関連論文リスト

• On Divergence Measures for Training GFlowNets [3.7277730514654555]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、構成可能なオブジェクト上の非正規分布のサンプルとして設計された、償却推論モデルである。 伝統的に、GFlowNetsのトレーニング手順は、提案(フォワードポリシー)とターゲット(バックポリシー)の分布の対数二乗差を最小限にすることを目指している。 我々は、Renyi-$alpha$'s, Tsallis-$alpha$'s, reverse and forward KL'sという4つの分岐測度を概観し、GFlowNetsの学習文脈における勾配に対する統計的に効率的な推定器を設計する。
  論文  参考訳（メタデータ） (2024-10-12T03:46:52Z)
• FlowIE: Efficient Image Enhancement via Rectified Flow [71.6345505427213]
  FlowIEはフローベースのフレームワークであり、基本的な分布から高品質な画像への直線パスを推定する。 私たちのコントリビューションは、合成および実世界のデータセットに関する包括的な実験を通じて、厳密に検証されています。
  論文  参考訳（メタデータ） (2024-06-01T17:29:29Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
  本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。 これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。 我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
  論文  参考訳（メタデータ） (2023-10-25T13:23:08Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• Gradients should stay on Path: Better Estimators of the Reverse- and Forward KL Divergence for Normalizing Flows [4.830811539001643]
  本稿では,任意の非可逆正規化フローに対して,逆と前方のKulback-Leibler分散の経路勾配を推定するアルゴリズムを提案する。 結果として得られる経路勾配推定器は、実装が簡単で、分散が小さく、訓練の収束が早くなるだけでなく、全体の近似結果も良くなる。
  論文  参考訳（メタデータ） (2022-07-17T16:27:41Z)
• Path-Gradient Estimators for Continuous Normalizing Flows [4.830811539001643]
  近年の研究では、単純変分ガウス分布の経路勾配推定器が確立されている。 連続正規化フローのより表現力の高い変動族に対する経路勾配推定器を提案する。
  論文  参考訳（メタデータ） (2022-06-17T21:25:06Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。