論文の概要: Generative Flows with Invertible Attentions

• arxiv url: http://arxiv.org/abs/2106.03959v1
• Date: Mon, 7 Jun 2021 20:43:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:10:47.266912
• Title: Generative Flows with Invertible Attentions
• Title（参考訳）: 可逆的注意を伴う生成的流れ
• Authors: Rhea Sanjay Sukthanker, Zhiwu Huang, Suryansh Kumar, Radu Timofte, Luc Van Gool
• Abstract要約: 生成フローモデルに対する2種類の非可逆的注意機構を導入する。 フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。 提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
• 参考スコア（独自算出の注目度）: 135.23766216657745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flow-based generative models have shown excellent ability to explicitly learn the probability density function of data via a sequence of invertible transformations. Yet, modeling long-range dependencies over normalizing flows remains understudied. To fill the gap, in this paper, we introduce two types of invertible attention mechanisms for generative flow models. To be precise, we propose map-based and scaled dot-product attention for unconditional and conditional generative flow models. The key idea is to exploit split-based attention mechanisms to learn the attention weights and input representations on every two splits of flow feature maps. Our method provides invertible attention modules with tractable Jacobian determinants, enabling seamless integration of it at any positions of the flow-based models. The proposed attention mechanism can model the global data dependencies, leading to more comprehensive flow models. Evaluation on multiple generation tasks demonstrates that the introduced attention flow idea results in efficient flow models and compares favorably against the state-of-the-art unconditional and conditional generative flow methods.
• Abstract（参考訳）: フローベース生成モデルは、可逆変換のシーケンスを通してデータの確率密度関数を明示的に学習する優れた能力を示している。 しかし、フローの正規化に対する長距離依存性のモデリングは未検討のままである。 本稿では, このギャップを埋めるために, 生成流動モデルのための可逆的注意機構を2種類導入する。 正確には、無条件および条件付き生成フローモデルに対するマップベースおよびスケールドドット製品アテンションを提案する。 重要なアイデアは、スプリットベースのアテンションメカニズムを利用して、フロー特徴マップの2つの分割ごとに、アテンションの重み付けと入力表現を学ぶことである。 提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。 提案する注意機構は、グローバルデータ依存をモデル化することができ、より包括的なフローモデルに繋がる。 マルチジェネレーションタスクの評価は、導入した注目フローのアイデアが効率的なフローモデルとなり、最先端の無条件および条件付き生成フロー手法と好適に比較できることを示す。

関連論文リスト

• Flow-based generative models as iterative algorithms in probability space [18.701755188870823]
  フローベースの生成モデルは、正確な推定、効率的なサンプリング、決定論的変換を提供する。 本チュートリアルでは,フローベース生成モデルのための直感的な数学的枠組みを提案する。 我々は,信号処理や機械学習にフローベース生成モデルを効果的に適用するために必要なツールを研究者や実践者に提供することを目的としている。
  論文  参考訳（メタデータ） (2025-02-19T03:09:18Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Flowformer: Linearizing Transformers with Conservation Flows [77.25101425464773]
  本研究では,フローネットワーク理論に基づくインダクティブバイアスのないトランスフォーマーを線形化する。 ソースコンペティション用シンクの流入流と、シンクアロケーション用ソースの流出流をそれぞれ保存することにより、フローアテンションは本質的に情報的注意を発生させる。
  論文  参考訳（メタデータ） (2022-02-13T08:44:10Z)
• Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
  注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。 ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。 我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
  論文  参考訳（メタデータ） (2021-09-24T18:02:49Z)
• Distilling the Knowledge from Normalizing Flows [22.578033953780697]
  正規化フローは、複数の音声および視覚問題において強力な性能を示す生成モデルの強力なクラスである。 本稿では, 簡易蒸留法を提案し, 画像超解像と音声合成のための現状条件付きフローベースモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-24T00:10:22Z)
• SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
  SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。 提案手法は,SurVAE フローとして表現できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-06T13:13:22Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)
• Augmented Normalizing Flows: Bridging the Gap Between Generative Flows and Latent Variable Models [11.206144910991481]
  本研究では,拡張データ空間上での新たな生成フローの族を提案する。これは,サンプリングの計算コストを大幅に増大させることなく,表現性を向上させることを目的としている。 本稿では,フローベース生成モデリングの標準ベンチマークにおける最先端性能について述べる。
  論文  参考訳（メタデータ） (2020-02-17T17:45:48Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。