論文の概要: Jet: A Modern Transformer-Based Normalizing Flow

• arxiv url: http://arxiv.org/abs/2412.15129v1
• Date: Thu, 19 Dec 2024 18:09:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:33:39.915866
• Title: Jet: A Modern Transformer-Based Normalizing Flow
• Title（参考訳）: Jet: 最新のトランスをベースとした正規化フロー
• Authors: Alexander Kolesnikov, André Susano Pinto, Michael Tschannen,
• Abstract要約: 本稿では,結合型正規化フローモデルの設計を再考する。 よりシンプルなアーキテクチャで、最先端の定量的、質的なパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 62.2573739835562
• License:
• Abstract: In the past, normalizing generative flows have emerged as a promising class of generative models for natural images. This type of model has many modeling advantages: the ability to efficiently compute log-likelihood of the input data, fast generation and simple overall structure. Normalizing flows remained a topic of active research but later fell out of favor, as visual quality of the samples was not competitive with other model classes, such as GANs, VQ-VAE-based approaches or diffusion models. In this paper we revisit the design of the coupling-based normalizing flow models by carefully ablating prior design choices and using computational blocks based on the Vision Transformer architecture, not convolutional neural networks. As a result, we achieve state-of-the-art quantitative and qualitative performance with a much simpler architecture. While the overall visual quality is still behind the current state-of-the-art models, we argue that strong normalizing flow models can help advancing research frontier by serving as building components of more powerful generative models.
• Abstract（参考訳）: 過去には, 自然画像の生成モデルとして, 生成フローの正規化が期待できるクラスとして現れてきた。 このタイプのモデルには、入力データのログライクな状態を効率的に計算できる機能、高速な生成と単純な全体構造など、多くのモデリング上の利点がある。 サンプルの視覚的品質は、GAN、VQ-VAEベースのアプローチ、拡散モデルといった他のモデルクラスと競合しなかったため、フローの正規化は依然として活発な研究のトピックであった。 本稿では,結合型正規化フローモデルの設計について,事前の設計選択を慎重に評価し,畳み込みニューラルネットワークではなくビジョントランスフォーマーアーキテクチャに基づく計算ブロックを用いて再検討する。 その結果、より単純なアーキテクチャで、最先端の定量的、質的なパフォーマンスを実現した。 全体的な視覚的品質は現在の最先端モデルの背後にあるが、強い正規化フローモデルは、より強力な生成モデルの構成要素を構築することによって研究フロンティアを前進させるのに役立つと我々は主張する。

関連論文リスト

• Flow Generator Matching [35.371071097381346]
  フロージェネレータマッチング(FGM)は、フローマッチングモデルのサンプリングをワンステップ生成に高速化するように設計されている。 CIFAR10の非条件生成ベンチマークでは、1段階のFGMモデルが新たなFr'echet Inception Distance(FID)スコア3.08を達成した。 MM-DiT-FGMワンステップテキスト・ツー・イメージモデルでは,業界レベルでの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-10-25T05:41:28Z)
• Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
  本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。 我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
  論文  参考訳（メタデータ） (2024-05-30T03:57:29Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Distilling the Knowledge from Normalizing Flows [22.578033953780697]
  正規化フローは、複数の音声および視覚問題において強力な性能を示す生成モデルの強力なクラスである。 本稿では, 簡易蒸留法を提案し, 画像超解像と音声合成のための現状条件付きフローベースモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-24T00:10:22Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。