論文の概要: Categorical Normalizing Flows via Continuous Transformations
- arxiv url: http://arxiv.org/abs/2006.09790v3
- Date: Thu, 21 Jan 2021 12:06:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 19:33:11.822427
- Title: Categorical Normalizing Flows via Continuous Transformations
- Title(参考訳): 連続変換によるカテゴリー正規化流れ
- Authors: Phillip Lippe and Efstratios Gavves
- Abstract要約: 分類データの正規化フローであるemphCategorical Normalizing Flowsについて検討する。
連続空間におけるカテゴリデータの符号化を変分推論問題としてキャストすることにより、連続表現とモデル可能性の同時最適化を行う。
分類正規化フローに基づいて,グラフ上の置換不変な生成モデルとしてGraphCNFを提案する。
- 参考スコア(独自算出の注目度): 32.87201384145865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite their popularity, to date, the application of normalizing flows on
categorical data stays limited. The current practice of using dequantization to
map discrete data to a continuous space is inapplicable as categorical data has
no intrinsic order. Instead, categorical data have complex and latent relations
that must be inferred, like the synonymy between words. In this paper, we
investigate \emph{Categorical Normalizing Flows}, that is normalizing flows for
categorical data. By casting the encoding of categorical data in continuous
space as a variational inference problem, we jointly optimize the continuous
representation and the model likelihood. Using a factorized decoder, we
introduce an inductive bias to model any interactions in the normalizing flow.
As a consequence, we do not only simplify the optimization compared to having a
joint decoder, but also make it possible to scale up to a large number of
categories that is currently impossible with discrete normalizing flows. Based
on Categorical Normalizing Flows, we propose GraphCNF a permutation-invariant
generative model on graphs. GraphCNF implements a three step approach modeling
the nodes, edges and adjacency matrix stepwise to increase efficiency. On
molecule generation, GraphCNF outperforms both one-shot and autoregressive
flow-based state-of-the-art.
- Abstract(参考訳): その人気にもかかわらず、現在まで、分類データへの正規化フローの適用は限られている。
離散データを連続空間にマッピングするためにデカンタライズを用いる現在の実践は、分類データが本質的な順序を持たないため適用できない。
その代わり、分類データは、単語間の同義語のように、推論されなければならない複雑で潜在的な関係を持つ。
本稿では,分類データに対する流れの正規化である,emph{categorical normalizing flow} について検討する。
変分推論問題としてカテゴリデータの符号化を連続空間にキャストすることで,連続表現とモデルの確率を共同で最適化する。
因数分解デコーダを用いて、正規化フローにおける相互作用をモデル化するための誘導バイアスを導入する。
結果として、ジョイントデコーダを持つよりも最適化を単純化するだけでなく、離散正規化フローでは現在不可能である多数のカテゴリまでスケールアップすることができる。
分類正規化フローに基づいて,グラフ上の置換不変な生成モデルとしてGraphCNFを提案する。
graphcnfは、ノード、エッジ、隣接マトリックスを段階的にモデル化して効率を向上させる3段階のアプローチを実装している。
分子生成において、GraphCNFは単発と自己回帰フローベースの両方に優れる。
関連論文リスト
- The Implicit Bias of Batch Normalization in Linear Models and Two-layer
Linear Convolutional Neural Networks [117.93273337740442]
勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。
また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
論文 参考訳(メタデータ) (2023-06-20T16:58:00Z) - Context Normalization Layer with Applications [0.1499944454332829]
本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。
各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。
文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
論文 参考訳(メタデータ) (2023-03-14T06:38:17Z) - AdaCat: Adaptive Categorical Discretization for Autoregressive Models [84.85102013917606]
AdaCat(Adaptive Categorical Discretization)と呼ばれる,効率的で表現性の高いマルチモーダルパラメータ化を提案する。
AdaCatは自己回帰モデルの各次元を適応的に識別し、モデルが関心の細かい間隔に密度を割り当てることを可能にする。
論文 参考訳(メタデータ) (2022-08-03T17:53:46Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳(メタデータ) (2022-05-06T03:37:00Z) - VQ-Flows: Vector Quantized Local Normalizing Flows [2.7998963147546148]
データ多様体上の「チャートマップ」として局所正規化フローの混合を学習するための新しい統計フレームワークを導入する。
本フレームワークは, 正規化フローのシグネチャ特性を保ちながら, 最近の手法の表現性を向上し, 正確な密度評価を行う。
論文 参考訳(メタデータ) (2022-03-22T09:22:18Z) - Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
アイソメトリーを用いて、多様体学習と密度推定を分離する。
また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
論文 参考訳(メタデータ) (2022-03-08T08:57:43Z) - Discrete Denoising Flows [87.44537620217673]
分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。
他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。
そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
論文 参考訳(メタデータ) (2021-07-24T14:47:22Z) - Normalizing Flows Across Dimensions [10.21537170623373]
我々は、次元をまたぐことができる正規化フローの一般化であるノイズ注入流(NIF)を導入する。
NIF は射影変換を用いて高次元データ空間内の学習可能な多様体にラテント空間を明示的にマッピングする。
実験により,本手法を既存のフローアーキテクチャに適用することにより,サンプルの品質を著しく向上し,分離可能なデータ埋め込みが得られることを示す。
論文 参考訳(メタデータ) (2020-06-23T14:47:18Z) - Latent Variable Modelling with Hyperbolic Normalizing Flows [35.1659722563025]
双曲型VAEとユークリッド正規化流に新しい正規化フローを導入する。
提案手法は,実世界のグラフデータの再構成とともに,密度推定の性能向上を実現する。
論文 参考訳(メタデータ) (2020-02-15T07:44:00Z) - Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow [16.41460104376002]
有限体積を変換し、離散データに対する確率の正確な計算を可能にするサブセットフローを導入する。
我々は、WaveNets、PixelCNNs、Transformersを含む通常の離散自己回帰モデルを単層フローとして識別する。
我々は, CIFAR-10 を用いて, 脱量子化を訓練した流れモデルについて, 実測結果を示す。
論文 参考訳(メタデータ) (2020-02-06T22:58:51Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳(メタデータ) (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。