論文の概要: Semi-Autoregressive Energy Flows: Exploring Likelihood-Free Training of Normalizing Flows

• arxiv url: http://arxiv.org/abs/2206.06672v2
• Date: Thu, 22 Jun 2023 23:34:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 15:02:03.593088
• Title: Semi-Autoregressive Energy Flows: Exploring Likelihood-Free Training of Normalizing Flows
• Title（参考訳）: 半自己回帰型エネルギーフローの探索 : 正規化フローの自由なトレーニング
• Authors: Phillip Si, Zeyi Chen, Subham Sekhar Sahoo, Yair Schiff, Volodymyr Kuleshov
• Abstract要約: 本稿では, 流路の非破壊訓練について検討し, エネルギー目標について述べる。 エネルギー目的は決定自由であり、柔軟なモデルアーキテクチャをサポートする。 本研究は,本研究の目的や指標としての最大可能性の利用に疑問を呈し,生成モデルにおけるその役割に関する科学的研究に寄与する。
• 参考スコア（独自算出の注目度）: 5.096977916317878
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training normalizing flow generative models can be challenging due to the need to calculate computationally expensive determinants of Jacobians. This paper studies the likelihood-free training of flows and proposes the energy objective, an alternative sample-based loss based on proper scoring rules. The energy objective is determinant-free and supports flexible model architectures that are not easily compatible with maximum likelihood training, including semi-autoregressive energy flows, a novel model family that interpolates between fully autoregressive and non-autoregressive models. Energy flows feature competitive sample quality, posterior inference, and generation speed relative to likelihood-based flows; this performance is decorrelated from the quality of log-likelihood estimates, which are generally very poor. Our findings question the use of maximum likelihood as an objective or a metric, and contribute to a scientific study of its role in generative modeling.
• Abstract（参考訳）: 計算コストの高いヤコビ行列式を計算する必要があるため、フロー生成モデルの正規化のトレーニングは困難である。 本稿では,フローの確率フリーなトレーニングについて検討し,適切なスコアリングルールに基づく代替サンプルベース損失のエネルギー目標を提案する。 エネルギー目的は非決定的であり、半自己回帰的エネルギーフローや完全自己回帰的モデルと非自己回帰的モデルの間を補間する新しいモデルファミリを含む、最大可能性トレーニングと容易に互換性のないフレキシブルモデルアーキテクチャをサポートする。 エネルギーフローは、競合的なサンプル品質、後続推定、そして確率に基づくフローに対する生成速度を特徴としており、この性能は概して非常に貧弱なログライクメント推定の品質とは関係がない。 本研究は,最大可能性の使用を目的や計量として疑問視し,生成的モデリングにおけるその役割に関する科学的研究に寄与する。

関連論文リスト

• Variational Potential Flow: A Novel Probabilistic Framework for Energy-Based Generative Modelling [10.926841288976684]
  エネルギーをベースとした新しい生成フレームワークVAPOについて述べる。 VAPOは、勾配(流れ)が前のサンプルを導くポテンシャルエネルギー関数を学習することを目的としており、その密度の進化は近似的なデータ準同相性に従う。 イメージはポテンシャルエネルギーをトレーニングした後、ガウスのサンプルを初期化し、固定時間間隔で電位フローを管理するODEを解くことで生成することができる。
  論文  参考訳（メタデータ） (2024-07-21T18:08:12Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
  本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。 これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。 我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
  論文  参考訳（メタデータ） (2023-10-25T13:23:08Z)
• Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
  トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。 既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。 我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:15:57Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Distilling the Knowledge from Normalizing Flows [22.578033953780697]
  正規化フローは、複数の音声および視覚問題において強力な性能を示す生成モデルの強力なクラスである。 本稿では, 簡易蒸留法を提案し, 画像超解像と音声合成のための現状条件付きフローベースモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-24T00:10:22Z)
• EBMs Trained with Maximum Likelihood are Generator Models Trained with a Self-adverserial Loss [6.445605125467574]
  Langevin ダイナミクスを関連する勾配降下 ODE の決定論的解に置き換えます。 本研究は, 動的騒音の再導入は, 動作の質的変化に繋がらないことを示す。 そこで, EBMトレーニングは, 最大確率推定よりも, 事実上自己反逆的処置であることを示す。
  論文  参考訳（メタデータ） (2021-02-23T15:34:12Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。