論文の概要: Equivariant Discrete Normalizing Flows

• arxiv url: http://arxiv.org/abs/2110.08649v1
• Date: Sat, 16 Oct 2021 20:16:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 14:16:04.516121
• Title: Equivariant Discrete Normalizing Flows
• Title（参考訳）: 等変離散正規化流れ
• Authors: Avishek Joey Bose and Ivan Kobyzev
• Abstract要約: 離散層を用いた等変正規化フローの構築に着目する。 2つの新しい同変フロー:$G$-カップリングフローと$G$-Residualフローを導入する。 我々の構成である$G$-Residual Flowsも普遍的であり、$G$-equivariant diffeomorphismが$G$-Residual Flowによって正確にマッピング可能であることを証明している。
• 参考スコア（独自算出の注目度）: 10.867162810786361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: At its core, generative modeling seeks to uncover the underlying factors that give rise to observed data that can often be modelled as the natural symmetries that manifest themselves through invariances and equivariances to certain transformations laws. However, current approaches are couched in the formalism of continuous normalizing flows that require the construction of equivariant vector fields -- inhibiting their simple application to conventional higher dimensional generative modelling domains like natural images. In this paper we focus on building equivariant normalizing flows using discrete layers. We first theoretically prove the existence of an equivariant map for compact groups whose actions are on compact spaces. We further introduce two new equivariant flows: $G$-coupling Flows and $G$-Residual Flows that elevate classical Coupling and Residual Flows with equivariant maps to a prescribed group $G$. Our construction of $G$-Residual Flows are also universal, in the sense that we prove an $G$-equivariant diffeomorphism can be exactly mapped by a $G$-residual flow. Finally, we complement our theoretical insights with experiments -- for the first time -- on image datasets like CIFAR-10 and show $G$-Equivariant Discrete Normalizing flows lead to increased data efficiency, faster convergence, and improved likelihood estimates.
• Abstract（参考訳）: 生成的モデリングの核心は、ある変換法則への不変性や同値性を通じて自己を示す自然対称性としてしばしばモデル化される観測データを生み出す基礎的要因を明らかにすることである。 しかし、現在のアプローチは、等変ベクトル場の構築を必要とする連続正規化フローの形式主義に反し、自然画像のような従来の高次元生成モデリング領域への単純な適用を阻害している。 本稿では,離散層を用いた等変正規化フローの構築に着目する。 まず、コンパクト空間上の作用を持つコンパクト群に対する同値写像の存在を理論的に証明する。 我々はさらに2つの新しい同変フローを導入する: $g$-結合フローと$g$-residualフローで、同変写像を持つ古典結合と残留フローを所定の群 $g$ に高める。 我々の構成である$G$-Residual Flowsも普遍的であり、$G$-equivariant diffeomorphismが$G$-Residual Flowによって正確にマッピング可能であることを証明している。 最後に、CIFAR-10のような画像データセットに関する実験で理論的な洞察を初めて補完し、$G$-Equivariant Discrete 正規化フローを示すことで、データの効率が向上し、収束が早くなり、推定値が改善します。

関連論文リスト

• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Flow matching achieves almost minimax optimal convergence [50.38891696297888]
  フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。 本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。 我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
  論文  参考訳（メタデータ） (2024-05-31T14:54:51Z)
• Equivariant Manifold Neural ODEs and Differential Invariants [1.6073704837297416]
  我々は同変多様体ニューラル常微分方程式(NODE)の明らかな幾何学的枠組みを開発する。 私たちは、対称データに対するモデリング能力を解析するためにそれを使用します。
  論文  参考訳（メタデータ） (2024-01-25T12:23:22Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
  注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。 ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。 我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
  論文  参考訳（メタデータ） (2021-09-24T18:02:49Z)
• Moser Flow: Divergence-based Generative Modeling on Manifolds [49.04974733536027]
  Moser Flow (MF) は連続正規化フロー(CNF)ファミリーにおける新しい生成モデルのクラスである MFは、訓練中にODEソルバを介して呼び出しやバックプロパゲートを必要としない。 一般曲面からのサンプリングにおけるフローモデルの利用を初めて実演する。
  論文  参考訳（メタデータ） (2021-08-18T09:00:24Z)
• SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
  SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。 提案手法は,SurVAE フローとして表現できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-06T13:13:22Z)
• Normalizing Flows Across Dimensions [10.21537170623373]
  我々は、次元をまたぐことができる正規化フローの一般化であるノイズ注入流(NIF)を導入する。 NIF は射影変換を用いて高次元データ空間内の学習可能な多様体にラテント空間を明示的にマッピングする。 実験により,本手法を既存のフローアーキテクチャに適用することにより,サンプルの品質を著しく向上し,分離可能なデータ埋め込みが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-23T14:47:18Z)
• Neural Manifold Ordinary Differential Equations [46.25832801867149]
  マニフォールド連続正規化フロー(MCNF)の構築を可能にするニューラルマニフォールド正規微分方程式を導入する。 MCNFは変数の連続的な変化を伴う局所幾何学と計算確率のみを必要とする。 連続多様体力学の活用は、密度推定と下流タスクの両方において顕著な改善をもたらす。
  論文  参考訳（メタデータ） (2020-06-18T03:24:58Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。