論文の概要: Distilling the Knowledge from Normalizing Flows
- arxiv url: http://arxiv.org/abs/2106.12699v1
- Date: Thu, 24 Jun 2021 00:10:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-26 08:26:04.135319
- Title: Distilling the Knowledge from Normalizing Flows
- Title（参考訳）: 正規化フローからの知識の蒸留
- Authors: Dmitry Baranchuk, Vladimir Aliev, Artem Babenko
- Abstract要約: フローベースモデルからより効率的な代替品に知識を抽出できるかどうかを検討する。
本稿では, 簡易蒸留法を提案し, 画像超解像と音声合成のための現状条件付きフローベースモデルの有効性を実証する。
- 参考スコア（独自算出の注目度）: 22.578033953780697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Normalizing flows are a powerful class of generative models demonstrating
strong performance in several speech and vision problems. In contrast to other
generative models, normalizing flows have tractable likelihoods and allow for
stable training. However, they have to be carefully designed to represent
invertible functions with efficient Jacobian determinant calculation. In
practice, these requirements lead to overparameterized and sophisticated
architectures that are inferior to alternative feed-forward models in terms of
inference time and memory consumption. In this work, we investigate whether one
can distill knowledge from flow-based models to more efficient alternatives. We
provide a positive answer to this question by proposing a simple distillation
approach and demonstrating its effectiveness on state-of-the-art conditional
flow-based models for image super-resolution and speech synthesis.
- Abstract（参考訳）: 正規化フローは、複数の音声および視覚問題において強力な性能を示す生成モデルの強力なクラスである。
他の生成モデルとは対照的に、正規化フローはトラクタブルな可能性を持ち、安定した訓練を可能にする。
しかし、それらは効率的なヤコビ行列式計算で可逆関数を表現するように慎重に設計する必要がある。
実際には、これらの要件は、推論時間とメモリ消費の観点から、代替フィードフォワードモデルよりも劣る、過度にパラメータ化され、洗練されたアーキテクチャをもたらす。
本研究では,フローベースモデルからより効率的な代替品に知識を抽出できるかどうかを検討する。
本稿では, 簡単な蒸留法を提案し, 画像超解像および音声合成のための現状条件付きフローベースモデルの有効性を示すことで, この問題に対する肯定的な回答を提供する。
関連論文リスト
- Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。
我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:25:56Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳（メタデータ） (2023-11-22T15:07:59Z) - Your Autoregressive Generative Model Can be Better If You Treat It as an
Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。
E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。
我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文 参考訳（メタデータ） (2022-06-26T10:58:41Z) - Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。
ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。
我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
論文 参考訳（メタデータ） (2021-09-24T18:02:49Z) - Generative Flows with Invertible Attentions [135.23766216657745]
生成フローモデルに対する2種類の非可逆的注意機構を導入する。
フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。
提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
論文 参考訳（メタデータ） (2021-06-07T20:43:04Z) - Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。
従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。
本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2021-01-21T01:46:36Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳（メタデータ） (2020-04-08T09:07:11Z) - Regularized Autoencoders via Relaxed Injective Probability Flow [35.39933775720789]
非可逆フローベース生成モデルは、抽出可能な確率計算と推論を可能にしながら、サンプルを生成するための効果的な方法である。
本稿では, モデル上の単射性要件を回避し, 単射性のみを仮定する確率フローに基づく生成モデルを提案する。
論文 参考訳（メタデータ） (2020-02-20T18:22:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。