論文の概要: Energy Flows: Towards Determinant-Free Training of Normalizing Flows
- arxiv url: http://arxiv.org/abs/2206.06672v1
- Date: Tue, 14 Jun 2022 08:01:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-16 01:31:41.333374
- Title: Energy Flows: Towards Determinant-Free Training of Normalizing Flows
- Title（参考訳）: エネルギーフロー: 正規化フローの非決定的学習を目指して
- Authors: Phillip Si, Volodymyr Kuleshov
- Abstract要約: 本研究では,2サンプル試験にインスパイアされた流路の非決定的学習手法を提案する。
エネルギー目的は、ランダムな射影に基づく効率的な推定器を許容する適切なスコアリング規則の多次元拡張である。
我々は,高速な生成と後部推論を維持しながら,エネルギーフローが競争力のある生成モデル性能を実現することを実証的に実証した。
- 参考スコア（独自算出の注目度）: 5.19317670257198
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Normalizing flows are a popular approach for constructing probabilistic and
generative models. However, maximum likelihood training of flows is challenging
due to the need to calculate computationally expensive determinants of
Jacobians. This paper takes steps towards addressing this challenge by
introducing an approach for determinant-free training of flows inspired by
two-sample testing. Central to our framework is the energy objective, a
multidimensional extension of proper scoring rules that admits efficient
estimators based on random projections and that outperforms a range of
alternative two-sample objectives that can be derived in our framework.
Crucially, the energy objective and its alternatives do not require calculating
determinants and therefore support general flow architectures that are not
well-suited to maximum likelihood training (e.g., densely connected networks).
We empirically demonstrate that energy flows achieve competitive generative
modeling performance while maintaining fast generation and posterior inference.
- Abstract（参考訳）: 正規化フローは確率的および生成的モデルを構築するための一般的なアプローチである。
しかしながら、ヤコビアンの計算コストの高い行列式を計算する必要があるため、流れの最大確率トレーニングは困難である。
本稿では,2サンプルテストにインスパイアされたフローの非決定的学習手法を導入することで,この問題に対処する。
我々のフレームワークの中心はエネルギー目標であり、ランダムな投射に基づく効率的な推定を許容する適切なスコアリングルールの多次元拡張であり、我々のフレームワークで導出できる代替の2サンプルの目的よりも優れている。
重要なことに、エネルギー目標とその代替物は計算行列式を必要としないため、最大可能性トレーニング(例えば、密結合ネットワーク)に適さない一般的なフローアーキテクチャをサポートする。
我々は,高速生成と後続推定を維持しつつ,エネルギーフローが競争的生成モデル性能を達成できることを実証的に実証する。
関連論文リスト
- Variational Potential Flow: A Novel Probabilistic Framework for Energy-Based Generative Modelling [10.926841288976684]
エネルギーをベースとした新しい生成フレームワークVAPOについて述べる。
VAPOは、勾配(流れ)が前のサンプルを導くポテンシャルエネルギー関数を学習することを目的としており、その密度の進化は近似的なデータ準同相性に従う。
イメージはポテンシャルエネルギーをトレーニングした後、ガウスのサンプルを初期化し、固定時間間隔で電位フローを管理するODEを解くことで生成することができる。
論文 参考訳（メタデータ） (2024-07-21T18:08:12Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳（メタデータ） (2023-11-22T15:07:59Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳（メタデータ） (2023-11-02T16:45:25Z) - Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。
これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。
我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
論文 参考訳（メタデータ） (2023-10-25T13:23:08Z) - Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。
既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。
我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-29T07:15:57Z) - Your Autoregressive Generative Model Can be Better If You Treat It as an
Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。
E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。
我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文 参考訳（メタデータ） (2022-06-26T10:58:41Z) - Distilling the Knowledge from Normalizing Flows [22.578033953780697]
正規化フローは、複数の音声および視覚問題において強力な性能を示す生成モデルの強力なクラスである。
本稿では, 簡易蒸留法を提案し, 画像超解像と音声合成のための現状条件付きフローベースモデルの有効性を実証する。
論文 参考訳（メタデータ） (2021-06-24T00:10:22Z) - EBMs Trained with Maximum Likelihood are Generator Models Trained with a
Self-adverserial Loss [6.445605125467574]
Langevin ダイナミクスを関連する勾配降下 ODE の決定論的解に置き換えます。
本研究は, 動的騒音の再導入は, 動作の質的変化に繋がらないことを示す。
そこで, EBMトレーニングは, 最大確率推定よりも, 事実上自己反逆的処置であることを示す。
論文 参考訳（メタデータ） (2021-02-23T15:34:12Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳（メタデータ） (2020-11-14T09:51:51Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳（メタデータ） (2020-10-05T20:03:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。