論文の概要: Self Normalizing Flows
- arxiv url: http://arxiv.org/abs/2011.07248v2
- Date: Wed, 9 Jun 2021 12:14:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 13:11:52.110131
- Title: Self Normalizing Flows
- Title（参考訳）: 自己正規化フロー
- Authors: T. Anderson Keller, Jorn W.T. Peters, Priyank Jaini, Emiel Hoogeboom,
Patrick Forr\'e, Max Welling
- Abstract要約: 本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
- 参考スコア（独自算出の注目度）: 65.73510214694987
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient gradient computation of the Jacobian determinant term is a core
problem in many machine learning settings, and especially so in the normalizing
flow framework. Most proposed flow models therefore either restrict to a
function class with easy evaluation of the Jacobian determinant, or an
efficient estimator thereof. However, these restrictions limit the performance
of such density models, frequently requiring significant depth to reach desired
performance levels. In this work, we propose Self Normalizing Flows, a flexible
framework for training normalizing flows by replacing expensive terms in the
gradient by learned approximate inverses at each layer. This reduces the
computational complexity of each layer's exact update from $\mathcal{O}(D^3)$
to $\mathcal{O}(D^2)$, allowing for the training of flow architectures which
were otherwise computationally infeasible, while also providing efficient
sampling. We show experimentally that such models are remarkably stable and
optimize to similar data likelihood values as their exact gradient
counterparts, while training more quickly and surpassing the performance of
functionally constrained counterparts.
- Abstract（参考訳）: ヤコビ行列項の効率的な勾配計算は、多くの機械学習設定、特に正規化フローフレームワークにおけるコア問題である。
したがって、提案されたフローモデルはジャコビアン行列式を容易に評価できる関数クラスに制限するか、効率的な推定器に制限される。
しかし、これらの制限はそのような密度モデルの性能を制限し、しばしば所望のパフォーマンスレベルに達するためにかなりの深さを必要とする。
本研究では,各層で学習された近似逆数によって勾配の高価な項を置き換えることで,フローの正規化を訓練するフレキシブルなフレームワークである自己正規化フローを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$\mathcal{o}(d^3)$から$\mathcal{o}(d^2)$に低減され、計算上不可能であったフローアーキテクチャのトレーニングが可能になると同時に、効率的なサンプリングも可能になる。
このようなモデルは非常に安定であり、正確な勾配値と同等のデータ推定値に最適化すると同時に、より迅速にトレーニングを行い、機能的に制約されたモデルの性能を上回っていることを実験的に示します。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Fast and Unified Path Gradient Estimators for Normalizing Flows [5.64979077798699]
流れの正規化のための経路勾配推定器は, 変分推定のための標準推定器に比べて, ばらつきが小さい。
計算効率を大幅に向上させる高速経路勾配推定器を提案する。
我々は、いくつかの自然科学応用において、その優れた性能と分散を実証的に確立する。
論文 参考訳（メタデータ） (2024-03-23T16:21:22Z) - Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。
これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。
我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
論文 参考訳（メタデータ） (2023-10-25T13:23:08Z) - Training Energy-Based Normalizing Flow with Score-Matching Objectives [36.0810550035231]
エネルギーベース正規化フロー(EBFlow)と呼ばれる新しいフローベースモデリング手法を提案する。
本研究では,EBFlowをスコアマッチング目的に最適化することにより,線形変換に対するヤコビ行列式の計算を完全に回避できることを実証する。
論文 参考訳（メタデータ） (2023-05-24T15:54:29Z) - Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。
その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文 参考訳（メタデータ） (2023-04-25T21:49:09Z) - Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。
これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文 参考訳（メタデータ） (2023-02-01T08:50:48Z) - Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。
これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。
暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文 参考訳（メタデータ） (2022-04-18T17:53:44Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳（メタデータ） (2020-07-07T10:05:01Z) - Relative gradient optimization of the Jacobian term in unsupervised deep
learning [9.385902422987677]
データを正しく記述した表現的確率モデルを学習することは、機械学習におけるユビキタスな問題である。
このタスクには深度モデルが広く使用されているが、その最大可能性に基づくトレーニングでは、ジャコビアンの対数行列式を推定する必要がある。
このようなニューラルネットワークの正確なトレーニングのための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2020-06-26T16:41:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。