論文の概要: Generative Flows with Matrix Exponential
- arxiv url: http://arxiv.org/abs/2007.09651v1
- Date: Sun, 19 Jul 2020 11:18:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 23:59:30.920732
- Title: Generative Flows with Matrix Exponential
- Title(参考訳): 行列指数による生成流れ
- Authors: Changyi Xiao, Ligang Liu
- Abstract要約: 生成フローモデルは、抽出可能な正確な確率と効率的なサンプリングの特性を享受する。
行列指数を生成フローに組み込む。
本モデルは, 生成フローモデル間の密度推定において高い性能を達成する。
- 参考スコア(独自算出の注目度): 25.888286821451562
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative flows models enjoy the properties of tractable exact likelihood
and efficient sampling, which are composed of a sequence of invertible
functions. In this paper, we incorporate matrix exponential into generative
flows. Matrix exponential is a map from matrices to invertible matrices, this
property is suitable for generative flows. Based on matrix exponential, we
propose matrix exponential coupling layers that are a general case of affine
coupling layers and matrix exponential invertible 1 x 1 convolutions that do
not collapse during training. And we modify the networks architecture to make
trainingstable andsignificantly speed up the training process. Our experiments
show that our model achieves great performance on density estimation amongst
generative flows models.
- Abstract(参考訳): 生成フローモデルは、可逆関数列からなる、抽出可能な正確な確率と効率的なサンプリングの特性を享受する。
本稿では,行列指数関数を生成フローに組み込む。
行列指数は行列から可逆行列への写像であり、この性質は生成フローに適している。
行列指数関数に基づいて,アフィンカップリング層の一般的な場合である行列指数結合層と,トレーニング中に崩壊しない行列指数関数的可逆 1 x 1 畳み込みを提案する。
そしてネットワークアーキテクチャを変更して、トレーニングプロセスを安定的で重要なスピードアップします。
本実験は, 生成フローモデル間の密度推定において, 高い性能が得られることを示す。
関連論文リスト
- Quantum-inspired algorithm applied to extreme learning [0.6181093777643575]
量子インスパイアされた特異値分解を極端な学習フレームワークに適用する。
スピードアップは、それらのノルムに従って行列要素の効率的なサンプリングによって可能である。
この研究は量子インスパイアされたアルゴリズムの実用化に向けた第一歩である。
論文 参考訳(メタデータ) (2022-09-26T06:49:53Z) - Graph Polynomial Convolution Models for Node Classification of
Non-Homophilous Graphs [52.52570805621925]
本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。
得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。
提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
論文 参考訳(メタデータ) (2022-09-12T04:46:55Z) - Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。
6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-05-21T01:47:17Z) - Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。
本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
論文 参考訳(メタデータ) (2022-01-31T13:02:41Z) - Variance Reduction for Matrix Computations with Applications to Gaussian
Processes [0.0]
本稿では,行列分解による行列計算の分散化に着目する。
行列の平方根因数分解の計算は、いくつかの重要な場合において、任意により良い性能が得られることを示す。
論文 参考訳(メタデータ) (2021-06-28T10:41:22Z) - Adversarially-Trained Nonnegative Matrix Factorization [77.34726150561087]
非負行列ファクタリゼーションの逆学習版を検討する。
我々の定式化では、攻撃者は与えられたデータ行列に有界ノルムの任意の行列を追加する。
辞書と係数行列を最適化するために, 逆学習に触発された効率的なアルゴリズムを設計する。
論文 参考訳(メタデータ) (2021-04-10T13:13:17Z) - Deep Two-way Matrix Reordering for Relational Data Analysis [41.60125423028092]
行列の並べ替えは、与えられた行列の行と列をパーミュレートするタスクである。
本稿ではニューラルネットモデルを用いた新しい行列並べ替え手法Deep Two-way Matrix Reordering (DeepTMR)を提案する。
合成データセットと実用データセットの両方に適用することで,提案されたDeepTMRの有効性を実証する。
論文 参考訳(メタデータ) (2021-03-26T01:31:24Z) - Training Invertible Linear Layers through Rank-One Perturbations [0.0]
この研究は、非可逆線形層をトレーニングするための新しいアプローチを示す。
ネットワークパラメータを直接最適化する代わりに、ランク1の摂動を訓練し、しばしば実際の重み行列に追加する。
このような非可逆ブロックが混合性を改善し, 結果として発生する流れのモード分離を正規化する方法を示す。
論文 参考訳(メタデータ) (2020-10-14T12:43:47Z) - The Convolution Exponential and Generalized Sylvester Flows [82.18442368078804]
本稿では,線形変換の指数関数を取り入れ,線形フローを構築する新しい手法を提案する。
重要な洞察として、指数関数は暗黙的に計算できるため、畳み込み層を使用することができる。
畳み込み指数はCIFAR10上の生成フローにおいて他の線形変換よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-06-02T19:43:36Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳(メタデータ) (2020-03-04T08:15:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。