論文の概要: Generative Flows with Invertible Attentions

• arxiv url: http://arxiv.org/abs/2106.03959v1
• Date: Mon, 7 Jun 2021 20:43:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:10:47.266912
• Title: Generative Flows with Invertible Attentions
• Title（参考訳）: 可逆的注意を伴う生成的流れ
• Authors: Rhea Sanjay Sukthanker, Zhiwu Huang, Suryansh Kumar, Radu Timofte, Luc Van Gool
• Abstract要約: 生成フローモデルに対する2種類の非可逆的注意機構を導入する。 フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。 提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
• 参考スコア（独自算出の注目度）: 135.23766216657745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flow-based generative models have shown excellent ability to explicitly learn the probability density function of data via a sequence of invertible transformations. Yet, modeling long-range dependencies over normalizing flows remains understudied. To fill the gap, in this paper, we introduce two types of invertible attention mechanisms for generative flow models. To be precise, we propose map-based and scaled dot-product attention for unconditional and conditional generative flow models. The key idea is to exploit split-based attention mechanisms to learn the attention weights and input representations on every two splits of flow feature maps. Our method provides invertible attention modules with tractable Jacobian determinants, enabling seamless integration of it at any positions of the flow-based models. The proposed attention mechanism can model the global data dependencies, leading to more comprehensive flow models. Evaluation on multiple generation tasks demonstrates that the introduced attention flow idea results in efficient flow models and compares favorably against the state-of-the-art unconditional and conditional generative flow methods.
• Abstract（参考訳）: フローベース生成モデルは、可逆変換のシーケンスを通してデータの確率密度関数を明示的に学習する優れた能力を示している。 しかし、フローの正規化に対する長距離依存性のモデリングは未検討のままである。 本稿では, このギャップを埋めるために, 生成流動モデルのための可逆的注意機構を2種類導入する。 正確には、無条件および条件付き生成フローモデルに対するマップベースおよびスケールドドット製品アテンションを提案する。 重要なアイデアは、スプリットベースのアテンションメカニズムを利用して、フロー特徴マップの2つの分割ごとに、アテンションの重み付けと入力表現を学ぶことである。 提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。 提案する注意機構は、グローバルデータ依存をモデル化することができ、より包括的なフローモデルに繋がる。 マルチジェネレーションタスクの評価は、導入した注目フローのアイデアが効率的なフローモデルとなり、最先端の無条件および条件付き生成フロー手法と好適に比較できることを示す。

関連論文リスト

• Mixed Gaussian Flow for Diverse Trajectory Prediction [78.00204650749453]
  混合ガウスを将来の軌跡多様体に変換するためのフローベースモデルを提案する。 このモデルでは、多様な軌道パターンを生成する能力が向上している。 また,多様な,制御可能な,分布外のトラジェクトリを生成可能であることも実証した。
  論文  参考訳（メタデータ） (2024-02-19T15:48:55Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• WeaNF: Weak Supervision with Normalizing Flows [4.446580498787894]
  弱監督は、ノイズのあるラベル、カバレッジ、バイアスの問題を提起する。 ラベル付け関数を対象とする入力側データ分布を生成的にモデル化する。 各種弱監視データセットの有効性とモデル化能力について検討する。
  論文  参考訳（メタデータ） (2022-04-28T10:59:54Z)
• Flowformer: Linearizing Transformers with Conservation Flows [77.25101425464773]
  本研究では,フローネットワーク理論に基づくインダクティブバイアスのないトランスフォーマーを線形化する。 ソースコンペティション用シンクの流入流と、シンクアロケーション用ソースの流出流をそれぞれ保存することにより、フローアテンションは本質的に情報的注意を発生させる。
  論文  参考訳（メタデータ） (2022-02-13T08:44:10Z)
• Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
  注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。 ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。 我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
  論文  参考訳（メタデータ） (2021-09-24T18:02:49Z)
• Distilling the Knowledge from Normalizing Flows [22.578033953780697]
  正規化フローは、複数の音声および視覚問題において強力な性能を示す生成モデルの強力なクラスである。 本稿では, 簡易蒸留法を提案し, 画像超解像と音声合成のための現状条件付きフローベースモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-24T00:10:22Z)
• SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
  SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。 提案手法は,SurVAE フローとして表現できることが示唆された。
  論文  参考訳（メタデータ） (2020-07-06T13:13:22Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)
• Augmented Normalizing Flows: Bridging the Gap Between Generative Flows and Latent Variable Models [11.206144910991481]
  本研究では,拡張データ空間上での新たな生成フローの族を提案する。これは,サンプリングの計算コストを大幅に増大させることなく,表現性を向上させることを目的としている。 本稿では,フローベース生成モデリングの標準ベンチマークにおける最先端性能について述べる。
  論文  参考訳（メタデータ） (2020-02-17T17:45:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。