論文の概要: Implicit Normalizing Flows
- arxiv url: http://arxiv.org/abs/2103.09527v1
- Date: Wed, 17 Mar 2021 09:24:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-18 13:07:25.310660
- Title: Implicit Normalizing Flows
- Title(参考訳): 暗黙的正規化流れ
- Authors: Cheng Lu, Jianfei Chen, Chongxuan Li, Qiuhao Wang, Jun Zhu
- Abstract要約: ImpFlows は正規化フローを一般化し、写像を方程式の根元によって暗黙的に定義できるようにします。
ImpFlowの関数空間はResFlowsの関数空間よりも厳密にリッチであることを示す。
ImpFlowsからサンプルをトレーニングし、描画するためのスケーラブルなアルゴリズムを提案します。
- 参考スコア(独自算出の注目度): 43.939289514978434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Normalizing flows define a probability distribution by an explicit invertible
transformation $\boldsymbol{\mathbf{z}}=f(\boldsymbol{\mathbf{x}})$. In this
work, we present implicit normalizing flows (ImpFlows), which generalize
normalizing flows by allowing the mapping to be implicitly defined by the roots
of an equation $F(\boldsymbol{\mathbf{z}}, \boldsymbol{\mathbf{x}})=
\boldsymbol{\mathbf{0}}$. ImpFlows build on residual flows (ResFlows) with a
proper balance between expressiveness and tractability. Through theoretical
analysis, we show that the function space of ImpFlow is strictly richer than
that of ResFlows. Furthermore, for any ResFlow with a fixed number of blocks,
there exists some function that ResFlow has a non-negligible approximation
error. However, the function is exactly representable by a single-block
ImpFlow. We propose a scalable algorithm to train and draw samples from
ImpFlows. Empirically, we evaluate ImpFlow on several classification and
density modeling tasks, and ImpFlow outperforms ResFlow with a comparable
amount of parameters on all the benchmarks.
- Abstract(参考訳): 正規化フローは、明示的可逆変換 $\boldsymbol{\mathbf{z}}=f(\boldsymbol{\mathbf{x}})$ で確率分布を定義する。
本研究では, 正規化フロー (ImpFlows) について, 方程式 $F(\boldsymbol{\mathbf{z}}, \boldsymbol{\mathbf{x}})= \boldsymbol{\mathbf{0}}$ の根で写像を暗黙的に定義することにより, 正規化フローを一般化する。
ImpFlowsは、表現性とトラクタビリティの適切なバランスで、残留フロー(ResFlows)上に構築する。
理論的解析により、ImpFlow の関数空間は ResFlow の関数空間よりも厳密にリッチであることを示す。
さらに、ブロック数が一定である任意のResFlowに対して、ResFlowが無視できない近似エラーを持つ関数が存在する。
しかし、関数はシングルブロックの ImpFlow で正確に表現できる。
我々は、ImpFlowsからサンプルを訓練および描画するためのスケーラブルなアルゴリズムを提案する。
経験的に、いくつかの分類および密度モデリングタスクでImpFlowを評価し、ImpFlowはResFlowに匹敵するパラメータを全てのベンチマークで比較して性能を向上する。
関連論文リスト
- PaddingFlow: Improving Normalizing Flows with Padding-Dimensional Noise [5.352677991834813]
パディングフロー(PaddingFlow)は,パディング次元雑音による正規化フローを改善する新しいデクエント化法である。
PaddingFlowは簡単に実装でき、計算的に安価で、様々なタスクに広く適合し、データのバイアスのない推定サンプルを生成する。
論文 参考訳(メタデータ) (2024-03-13T03:28:39Z) - Expected flow networks in stochastic environments and two-player zero-sum games [63.98522423072093]
生成フローネットワーク(GFlowNets)は、所定の分布に合わせてトレーニングされた逐次サンプリングモデルである。
我々はGFlowNetsを環境に拡張する予測フローネットワーク(EFlowNets)を提案する。
本稿では,タンパク質設計などのタスクにおいて,EFlowNetが他のGFlowNetよりも優れていることを示す。
次に、EFlowNetsの概念を敵環境に拡張し、2プレイヤーゼロサムゲームのための敵フローネットワーク(AFlowNets)を提案する。
論文 参考訳(メタデータ) (2023-10-04T12:50:29Z) - Towards Understanding and Improving GFlowNet Training [71.85707593318297]
本稿では,学習したサンプリング分布と目標報酬分布を比較するための効率的な評価手法を提案する。
本稿では,高解像度のx$,相対的エッジフローポリシーのパラメータ化,新しい軌道バランス目標を提案する。
論文 参考訳(メタデータ) (2023-05-11T22:50:41Z) - CFlowNets: Continuous Control with Generative Flow Networks [23.093316128475564]
探索制御タスクの強化学習の代替として,ジェネレーティブフローネットワーク(GFlowNets)を用いることができる。
本稿では,連続制御タスクに適用可能な生成連続フローネットワーク(CFlowNets)を提案する。
論文 参考訳(メタデータ) (2023-03-04T14:37:47Z) - Better Training of GFlowNets with Local Credit and Incomplete
Trajectories [81.14310509871935]
エネルギー関数が終端状態だけでなく中間状態にも適用できる場合を考える。
これは例えば、エネルギー関数が加法的であるときに達成され、軌道に沿って項が利用できる。
これにより、不完全なトラジェクトリであってもパラメータの更新に適用可能なトレーニングの目標が可能になる。
論文 参考訳(メタデータ) (2023-02-03T12:19:42Z) - MixFlows: principled variational inference via mixed flows [16.393322369105864]
MixFlowsは、初期参照分布に対するマップの繰り返し適用の混合からなる、新しいバリエーションファミリである。
また,MixFlowsは,フローマップがエルゴード的かつ測度保存的である場合にMCMCライクな収束を保証することを示す。
また,不正確な離散化ハミルトン力学と決定論的運動量リフレッシュを併用したMixFlowの実装も開発した。
論文 参考訳(メタデータ) (2022-05-16T06:57:57Z) - Generative Flow Networks for Discrete Probabilistic Modeling [118.81967600750428]
エネルギーベース生成フローネットワーク(EB-GFN)について述べる。
EB-GFNは高次元離散データのための新しい確率論的モデリングアルゴリズムである。
GFlowNetsは、モード間を混在させるために、大ブロックギブスサンプリングを略して行うことができるかを示す。
論文 参考訳(メタデータ) (2022-02-03T01:27:11Z) - GFlowNet Foundations [66.69854262276391]
Generative Flow Networks (GFlowNets) は、多様な候補をアクティブな学習コンテキストでサンプリングする方法として導入された。
GFlowNetのさらなる理論的性質について述べる。
論文 参考訳(メタデータ) (2021-11-17T17:59:54Z) - ShapeFlow: Dynamic Shape Interpreter for TensorFlow [10.59840927423059]
本稿では,形状不整合誤差を高速にキャッチする動的抽象的インタプリタであるShapeFlowを提案する。
ShapeFlowは、プログラマが使用する計算グラフと同様、カスタム形状の計算グラフを構築する。
本研究では, 前回の実証実験で収集した52プログラムのShapeFlowを評価し, 形状不整合誤差をいかに高速かつ正確に把握できるかを示した。
論文 参考訳(メタデータ) (2020-11-26T19:27:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。