論文の概要: The Convolution Exponential and Generalized Sylvester Flows
- arxiv url: http://arxiv.org/abs/2006.01910v2
- Date: Mon, 26 Oct 2020 10:24:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 23:19:48.633940
- Title: The Convolution Exponential and Generalized Sylvester Flows
- Title（参考訳）: 畳み込み指数的および一般化されたシルベスター流れ
- Authors: Emiel Hoogeboom, Victor Garcia Satorras, Jakub M. Tomczak, Max Welling
- Abstract要約: 本稿では,線形変換の指数関数を取り入れ,線形フローを構築する新しい手法を提案する。
重要な洞察として、指数関数は暗黙的に計算できるため、畳み込み層を使用することができる。
畳み込み指数はCIFAR10上の生成フローにおいて他の線形変換よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 82.18442368078804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces a new method to build linear flows, by taking the
exponential of a linear transformation. This linear transformation does not
need to be invertible itself, and the exponential has the following desirable
properties: it is guaranteed to be invertible, its inverse is straightforward
to compute and the log Jacobian determinant is equal to the trace of the linear
transformation. An important insight is that the exponential can be computed
implicitly, which allows the use of convolutional layers. Using this insight,
we develop new invertible transformations named convolution exponentials and
graph convolution exponentials, which retain the equivariance of their
underlying transformations. In addition, we generalize Sylvester Flows and
propose Convolutional Sylvester Flows which are based on the generalization and
the convolution exponential as basis change. Empirically, we show that the
convolution exponential outperforms other linear transformations in generative
flows on CIFAR10 and the graph convolution exponential improves the performance
of graph normalizing flows. In addition, we show that Convolutional Sylvester
Flows improve performance over residual flows as a generative flow model
measured in log-likelihood.
- Abstract（参考訳）: 本稿では,線形変換の指数関数を取り入れ,線形フローを構築する新しい手法を提案する。
この線型変換は可逆である必要はなく、指数関数は次のような望ましい性質を持つ: 可逆であることが保証され、その逆変換は計算が容易であり、ログジャコビアン行列式は線型変換のトレースと等しい。
重要な洞察として、指数関数は暗黙的に計算できるため、畳み込み層を使用することができる。
この知見を用いて、基底変換の等価性を保持する畳み込み指数とグラフ畳み込み指数と呼ばれる新しい可逆変換を開発する。
さらに,Sylvester Flowsを一般化し,基底変化として一般化と畳み込み指数に基づく畳み込み型Sylvester Flowsを提案する。
CIFAR10上の生成フローにおいて、畳み込み指数は他の線形変換よりも優れており、グラフ畳み込み指数はグラフ正規化フローの性能を向上させる。
さらに, コンボリューショナル・シルヴェスタ・フローは, 対数様態で測定された生成フローモデルとして, 残留フローよりも性能が向上することを示した。
関連論文リスト
- Graph Transformers Dream of Electric Flow [72.06286909236827]
グラフデータに適用された線形変換器は、正準問題を解くアルゴリズムを実装可能であることを示す。
そこで我々は,これらのグラフアルゴリズムをそれぞれ実装するための明示的な重み設定を提案し,基礎となるアルゴリズムの誤差によって構築したトランスフォーマーの誤差を限定する。
論文 参考訳（メタデータ） (2024-10-22T05:11:45Z) - Advective Diffusion Transformers for Topological Generalization in Graph
Learning [69.2894350228753]
グラフ拡散方程式は、様々なグラフトポロジーの存在下で、どのように外挿して一般化するかを示す。
本稿では,新たなグラフエンコーダのバックボーンであるAdvective Diffusion Transformer (ADiT)を提案する。
論文 参考訳（メタデータ） (2023-10-10T08:40:47Z) - Flowformer: Linearizing Transformers with Conservation Flows [77.25101425464773]
本研究では,フローネットワーク理論に基づくインダクティブバイアスのないトランスフォーマーを線形化する。
ソースコンペティション用シンクの流入流と、シンクアロケーション用ソースの流出流をそれぞれ保存することにより、フローアテンションは本質的に情報的注意を発生させる。
論文 参考訳（メタデータ） (2022-02-13T08:44:10Z) - Generalized Optimization: A First Step Towards Category Theoretic
Learning Theory [1.52292571922932]
我々は、勾配勾配勾配の直接一般化やニュートン法の新しい一般化など、いくつかの最適化アルゴリズムを一般化する。
これらのアルゴリズムの変換不変性が保存されていることを示す。
また,内積様表現を用いて一般化降下の損失の変化を表現できることも示している。
論文 参考訳（メタデータ） (2021-09-20T15:19:06Z) - Generative Flows with Matrix Exponential [25.888286821451562]
生成フローモデルは、抽出可能な正確な確率と効率的なサンプリングの特性を享受する。
行列指数を生成フローに組み込む。
本モデルは, 生成フローモデル間の密度推定において高い性能を達成する。
論文 参考訳（メタデータ） (2020-07-19T11:18:47Z) - SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。
提案手法は,SurVAE フローとして表現できることが示唆された。
論文 参考訳（メタデータ） (2020-07-06T13:13:22Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳（メタデータ） (2020-03-04T08:15:06Z) - Invertible Generative Modeling using Linear Rational Splines [11.510009152620666]
正規化フローは、可逆写像の集合を通して任意の確率分布をモデル化しようとする。
最初のフロー設計ではアフィン変換に基づく結合層マッピングが用いられた。
アフィン変換の代替として機能するイントレピッドは注目されている。
論文 参考訳（メタデータ） (2020-01-15T08:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。