論文の概要: Normalizing Flows are Capable Generative Models

• arxiv url: http://arxiv.org/abs/2412.06329v1
• Date: Mon, 09 Dec 2024 09:28:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:56:57.283823
• Title: Normalizing Flows are Capable Generative Models
• Title（参考訳）: 正規化フローは生成モデルを可能にする
• Authors: Shuangfei Zhai, Ruixiang Zhang, Preetum Nakkiran, David Berthelot, Jiatao Gu, Huangjie Zheng, Tianrong Chen, Miguel Angel Bautista, Navdeep Jaitly, Josh Susskind,
• Abstract要約: textitTarFlowは,高性能なNFモデルを実現するシンプルでスケーラブルなアーキテクチャである。 TarFlow は Masked Autoregressive Flows (MAFs) の Transformer ベースの変種と考えることができる。 エンドツーエンドのトレーニングは簡単で、ピクセルを直接モデリングして生成することができる。
• 参考スコア（独自算出の注目度）: 48.31226028595099
• License:
• Abstract: Normalizing Flows (NFs) are likelihood-based models for continuous inputs. They have demonstrated promising results on both density estimation and generative modeling tasks, but have received relatively little attention in recent years. In this work, we demonstrate that NFs are more powerful than previously believed. We present \textit{TarFlow}: a simple and scalable architecture that enables highly performant NF models. TarFlow can be thought of as a Transformer-based variant of Masked Autoregressive Flows (MAFs): it consists of a stack of autoregressive Transformer blocks on image patches, alternating the autoregression direction between layers. TarFlow is straightforward to train end-to-end, and capable of directly modeling and generating pixels. We also propose three key techniques to improve sample quality: Gaussian noise augmentation during training, a post training denoising procedure, and an effective guidance method for both class-conditional and unconditional settings. Putting these together, TarFlow sets new state-of-the-art results on likelihood estimation for images, beating the previous best methods by a large margin, and generates samples with quality and diversity comparable to diffusion models, for the first time with a stand-alone NF model. We make our code available at \href{https://github.com/apple/ml-tarflow}{https://github.com/apple/ml-tarflow}.
• Abstract（参考訳）: 正規化フロー(NF)は連続入力のための確率ベースモデルである。 彼らは密度推定と生成モデリングの両方のタスクについて有望な結果を示してきたが、近年はほとんど注目されていない。 本研究では,NFが従来考えられていたよりも強力であることを示す。 本稿では,高性能なNFモデルを実現するシンプルでスケーラブルなアーキテクチャであるtextit{TarFlow}について述べる。 TarFlow は Transformer ベースの Masked Autoregressive Flows (MAFs) の変種と見なすことができる。 TarFlowはエンドツーエンドのトレーニングが容易で、ピクセルを直接モデリングして生成することができる。 また,学習中のガウス雑音の増大,ポストトレーニング・デノケーション,およびクラス条件および非条件設定の効果的な指導方法を提案する。 これらを組み合わせることで、TarFlowは画像の確率推定に新たな最先端結果を設定し、従来のベストメソッドを大きなマージンで打ち破り、スタンドアロンNFモデルで初めて、拡散モデルに匹敵する品質と多様性のサンプルを生成する。 当社のコードは \href{https://github.com/apple/ml-tarflow}{https://github.com/apple/ml-tarflow} で公開しています。

関連論文リスト

• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Variational Flow Matching for Graph Generation [42.3778673162256]
  分類データのフローマッチング手法であるCatFlowを開発した。 CatFlowは実装が容易で、計算効率が良く、グラフ生成タスクで強い結果が得られる。
  論文  参考訳（メタデータ） (2024-06-07T11:16:17Z)
• Boundary-aware Decoupled Flow Networks for Realistic Extreme Rescaling [49.215957313126324]
  Invertible rescaling Network (IRN) やgenerative adversarial Network (GAN) などを含む最近の生成手法は、画像再スケーリングにおいて例外的な性能を示した。 しかし、IRNベースの手法は過度に滑らかな結果を生成する傾向にあり、一方、GANベースの手法は偽の細部を容易に生成する。 本稿では,現実的かつ視覚的に満足な結果を生成するために,境界対応デカップリングフローネットワーク(BDFlow)を提案する。
  論文  参考訳（メタデータ） (2024-05-05T14:05:33Z)
• PaddingFlow: Improving Normalizing Flows with Padding-Dimensional Noise [4.762593660623934]
  パディングフロー(PaddingFlow)は,パディング次元雑音による正規化フローを改善する新しいデクエント化法である。 非条件密度推定の主ベンチマークで本手法の有効性を検証した。 この結果から,PaddingFlowはすべての実験において優れた性能を発揮できることがわかった。
  論文  参考訳（メタデータ） (2024-03-13T03:28:39Z)
• Neural Fields with Thermal Activations for Arbitrary-Scale Super-Resolution [56.089473862929886]
  本稿では,適応型ガウスPSFを用いて点を問合せできる新しい設計手法を提案する。 理論的に保証されたアンチエイリアスにより、任意のスケールの単一画像の超解像のための新しい手法が確立される。
  論文  参考訳（メタデータ） (2023-11-29T14:01:28Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• DeFlow: Learning Complex Image Degradations from Unpaired Data with Conditional Flows [145.83812019515818]
  本論文では,不対データから画像劣化を学習するDeFlowを提案する。 共有フローデコーダネットワークの潜在空間における劣化過程をモデル化する。 共同画像復元と超解像におけるDeFlowの定式化を検証した。
  論文  参考訳（メタデータ） (2021-01-14T18:58:01Z)
• SoftFlow: Probabilistic Framework for Normalizing Flow on Manifolds [15.476426879806134]
  フローベース生成モデルは、同じ次元の2つのランダム変数間の可逆変換からなる。 本論文では,多様体上の正規化フローを学習するための確率的フレームワークであるSoftFlowを提案する。 実験により,SoftFlowは多様体データの固有構造を捕捉し,高品質なサンプルを生成することができることを示した。 提案手法を3次元点雲に適用することにより,フローベースモデルにおける細い構造形成の難しさを軽減する。
  論文  参考訳（メタデータ） (2020-06-08T13:56:07Z)
• Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow [16.41460104376002]
  有限体積を変換し、離散データに対する確率の正確な計算を可能にするサブセットフローを導入する。 我々は、WaveNets、PixelCNNs、Transformersを含む通常の離散自己回帰モデルを単層フローとして識別する。 我々は, CIFAR-10 を用いて, 脱量子化を訓練した流れモデルについて, 実測結果を示す。
  論文  参考訳（メタデータ） (2020-02-06T22:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。