論文の概要: Distilling Normalizing Flows

• arxiv url: http://arxiv.org/abs/2506.21003v1
• Date: Thu, 26 Jun 2025 04:34:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:09.97965
• Title: Distilling Normalizing Flows
• Title（参考訳）: 蒸留正規化流れ
• Authors: Steven Walton, Valeriy Klyukin, Maksim Artemev, Denis Derkach, Nikita Orlov, Humphrey Shi,
• Abstract要約: そこで本研究では,小学生正規化フローのサンプリング品質と密度推定を向上する新しい知識蒸留技術を提案する。 この蒸留により, 学生を著しく小さくできると同時に, 未蒸留の生徒に対して実質的な性能向上を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 19.10152618435358
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explicit density learners are becoming an increasingly popular technique for generative models because of their ability to better model probability distributions. They have advantages over Generative Adversarial Networks due to their ability to perform density estimation and having exact latent-variable inference. This has many advantages, including: being able to simply interpolate, calculate sample likelihood, and analyze the probability distribution. The downside of these models is that they are often more difficult to train and have lower sampling quality. Normalizing flows are explicit density models, that use composable bijective functions to turn an intractable probability function into a tractable one. In this work, we present novel knowledge distillation techniques to increase sampling quality and density estimation of smaller student normalizing flows. We seek to study the capacity of knowledge distillation in Compositional Normalizing Flows to understand the benefits and weaknesses provided by these architectures. Normalizing flows have unique properties that allow for a non-traditional forms of knowledge transfer, where we can transfer that knowledge within intermediate layers. We find that through this distillation, we can make students significantly smaller while making substantial performance gains over a non-distilled student. With smaller models there is a proportionally increased throughput as this is dependent upon the number of bijectors, and thus parameters, in the network.
• Abstract（参考訳）: 比重学習者は、確率分布をより良くモデル化できるため、生成モデルにおいて、ますます人気が高まっている。 それらは、密度推定を行い、正確な潜伏変数推論を行う能力により、ジェネレーティブ・アドバイサル・ネットワークよりも利点がある。 これには、単純に補間し、サンプルの確率を計算し、確率分布を解析できるなど、多くの利点がある。 これらのモデルの欠点は、トレーニングが難しく、サンプリング品質が低いことだ。 正規化フロー(英: normalizing flow)は、構成可能な単射関数を用いて、抽出可能な確率関数を抽出可能な関数に変換する明示的な密度モデルである。 本研究では,学生正規化フローのサンプリング品質と密度推定を向上する新しい知識蒸留技術を提案する。 構成正規化フローにおける知識蒸留能力について検討し,これらのアーキテクチャがもたらす利点と弱点について考察する。 正規化フローは、中間層内でその知識を伝達できる非伝統的な知識伝達を可能にするユニークな性質を持つ。 この蒸留により, 学生を著しく小さくできると同時に, 未蒸留の生徒に対して実質的な性能向上を達成できることがわかった。 より小さなモデルでは、ネットワーク内のビジェクタの数、すなわちパラメータに依存するため、スループットが比例的に増加する。

関連論文リスト

• Enhancing Accuracy in Generative Models via Knowledge Transfer [4.3108820946281945]
  本研究では,Kullback-Leiblerの分散化など,分散指標下での伝達学習のための新しいフレームワークを提案する。 提案理論は,共有構造が目標タスクの生成精度を向上させることを示唆している。
  論文  参考訳（メタデータ） (2024-05-27T05:10:49Z)
• Augmented Bridge Matching [32.668433085737036]
  フローとブリッジマッチングのプロセスは、任意のデータ分布の間を補間することができる。 マッチングプロセスの簡単な変更により,速度場を増大させることで,この結合が回復することを示す。 画像翻訳タスクの混合学習における拡張の効率について説明する。
  論文  参考訳（メタデータ） (2023-11-12T22:42:34Z)
• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• Structural Pruning for Diffusion Models [65.02607075556742]
  Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。 複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-18T12:38:21Z)
• Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
  大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。 分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。 我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
  論文  参考訳（メタデータ） (2023-03-28T17:59:56Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Robust model training and generalisation with Studentising flows [22.757298187704745]
  本稿では、ロバストな(特に耐性のある)統計からの洞察に基づいて、これらの手法をさらに改善する方法について論じる。 本稿では, ガウス分布の簡易なドロップイン置換として, 太い尾の潜伏分布を持つフローベースモデルを提案する。 いくつかの異なるデータセットの実験により、提案手法の有効性が確認された。
  論文  参考訳（メタデータ） (2020-06-11T16:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。