論文の概要: A Comparison of PDF Projection with Normalizing Flows and SurVAE
- arxiv url: http://arxiv.org/abs/2311.14412v2
- Date: Mon, 27 Nov 2023 07:20:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 11:52:32.083463
- Title: A Comparison of PDF Projection with Normalizing Flows and SurVAE
- Title(参考訳): 正規化流れとSurVAEによるPDF投影の比較
- Authors: Paul M. Baggenstoss and Felix Govaers
- Abstract要約: サージェクションVAEは、正規化フローを次元変化変換に拡張するために提案されている。
提案手法は,20年以上前に現れたPDFプロジェクションの再発明であり,さらに発展していることを示す。
- 参考スコア(独自算出の注目度): 7.1795069620810805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Normalizing flows (NF) recently gained attention as a way to construct
generative networks with exact likelihood calculation out of composable layers.
However, NF is restricted to dimension-preserving transformations. Surjection
VAE (SurVAE) has been proposed to extend NF to dimension-altering
transformations. Such networks are desirable because they are expressive and
can be precisely trained. We show that the approaches are a re-invention of PDF
projection, which appeared over twenty years earlier and is much further
developed.
- Abstract(参考訳): 正規化フロー (NF) は, 構成可能な層から正確な確率計算で生成ネットワークを構築する方法として注目されている。
しかし、NF は次元保存変換に制限される。
サージェクションVAE(SurVAE)は、NFを次元変化変換に拡張するために提案されている。
このようなネットワークは表現力があり、正確に訓練できるので望ましい。
提案手法は,20年以上前に現れたPDFプロジェクションの再発明であり,さらに発展していることを示す。
関連論文リスト
- Transformer Neural Autoregressive Flows [48.68932811531102]
正規化フロー(NF)を用いて密度推定を行う。
我々はトランスフォーマーニューラルオートレグレッシブフロー(T-NAF)と呼ばれる新しいタイプのニューラルフローを定義するためにトランスフォーマーを利用する新しい解を提案する。
論文 参考訳(メタデータ) (2024-01-03T17:51:16Z) - Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。
これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。
我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
論文 参考訳(メタデータ) (2023-10-25T13:23:08Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳(メタデータ) (2023-09-12T13:03:47Z) - Transformer Feed-Forward Layers Build Predictions by Promoting Concepts
in the Vocabulary Space [49.029910567673824]
トランスフォーマーベース言語モデル(LM)は現代のNLPの中核にあるが、内部予測構築プロセスは不透明であり、ほとんど理解されていない。
我々は、フィードフォワードネットワーク(FFN)層の動作をリバースエンジニアリングすることで、この基盤となる予測プロセスの公開に向けて大きな一歩を踏み出した。
論文 参考訳(メタデータ) (2022-03-28T12:26:00Z) - Principal Component Density Estimation for Scenario Generation Using
Normalizing Flows [62.997667081978825]
低次元空間における正規化フローを設定する線形主成分分析(PCA)に基づく次元還元フロー層を提案する。
当社は、2013年から2015年までのドイツにおけるPVおよび風力発電のデータと負荷需要に関する主成分フロー(PCF)を訓練しています。
論文 参考訳(メタデータ) (2021-04-21T08:42:54Z) - General Invertible Transformations for Flow-based Generative Modeling [11.04121146441257]
可逆論理と可逆ニューラルネットワークの多くのよく知られた可逆的変換は、我々の提案から導かれる可能性がある。
次に、フローベース生成モデルの重要な構成要素である2つの新しい結合層を提案する。
論文 参考訳(メタデータ) (2020-11-30T17:54:43Z) - SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。
提案手法は,SurVAE フローとして表現できることが示唆された。
論文 参考訳(メタデータ) (2020-07-06T13:13:22Z) - Graphical Normalizing Flows [11.23030807455021]
正規化フローは、ベース分布と一連のニューラルネットワークを組み合わせることで複雑な確率分布をモデル化する。
最先端アーキテクチャは、スカラーからベクトルへの可逆関数を持ち上げるために結合と自己回帰変換に依存している。
本稿では,所定あるいは学習可能なグラフィカル構造を持つ新しい非可逆変換であるグラフィカル正規化フローを提案する。
論文 参考訳(メタデータ) (2020-06-03T21:50:29Z) - VFlow: More Expressive Generative Flows with Variational Data
Augmentation [33.431861316434706]
トラクタビリティは生成フローにアーキテクチャ上の制約を課し、他の生成モデルよりも表現性が低い。
この制約に対処するために、いくつかの余分な次元でデータを拡大し、拡張データのための生成フローを共同で学習する。
我々のアプローチであるVFlowは、生成フローの一般化であり、従って常により良い性能を発揮する。
論文 参考訳(メタデータ) (2020-02-22T18:03:44Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳(メタデータ) (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。