論文の概要: Hierarchical Semi-Implicit Variational Inference with Application to Diffusion Model Acceleration

• arxiv url: http://arxiv.org/abs/2310.17153v1
• Date: Thu, 26 Oct 2023 04:52:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 22:00:57.593285
• Title: Hierarchical Semi-Implicit Variational Inference with Application to Diffusion Model Acceleration
• Title（参考訳）: 階層型半指数変分推論と拡散モデル加速への応用
• Authors: Longlin Yu, Tianyu Xie, Yu Zhu, Tong Yang, Xiangyu Zhang, Cheng Zhang
• Abstract要約: 半単純変分推論 (SIVI) を導入し, 解析的変分系列を拡大した。 我々は、より表現力のある多層構造を実現するためにSIVIを一般化するHSIVIと呼ばれる階層的半単純変分推論を提案する。
• 参考スコア（独自算出の注目度）: 20.820242501141834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-implicit variational inference (SIVI) has been introduced to expand the analytical variational families by defining expressive semi-implicit distributions in a hierarchical manner. However, the single-layer architecture commonly used in current SIVI methods can be insufficient when the target posterior has complicated structures. In this paper, we propose hierarchical semi-implicit variational inference, called HSIVI, which generalizes SIVI to allow more expressive multi-layer construction of semi-implicit distributions. By introducing auxiliary distributions that interpolate between a simple base distribution and the target distribution, the conditional layers can be trained by progressively matching these auxiliary distributions one layer after another. Moreover, given pre-trained score networks, HSIVI can be used to accelerate the sampling process of diffusion models with the score matching objective. We show that HSIVI significantly enhances the expressiveness of SIVI on several Bayesian inference problems with complicated target distributions. When used for diffusion model acceleration, we show that HSIVI can produce high quality samples comparable to or better than the existing fast diffusion model based samplers with a small number of function evaluations on various datasets.
• Abstract（参考訳）: sivi (semi-implicit variational inference) は、表現的半単純分布を階層的に定義することで解析的変分族を拡張するために導入された。 しかし、現在のSIVI法で一般的に用いられる単一層アーキテクチャは、ターゲット後部が複雑な構造を持つ場合、不十分である。 本稿では、SIVIを一般化し、半単純分布のより表現力のある多層構成を可能にする階層型半単純変分推論HSIVIを提案する。 単純なベース分布と目標分布とを補間する補助分布を導入することにより、これらの補助分布を次々に一致させることで条件層を訓練することができる。 さらに,事前学習したスコアネットワークを用いて,スコアマッチング対象の拡散モデルのサンプリングプロセスを高速化することができる。 複雑な対象分布を持つベイズ推論問題において,HSIVIはSIVIの表現性を著しく向上させることを示す。 拡散モデル加速に使用する場合、HSIVIは、様々なデータセット上で少数の関数評価を行う既存の高速拡散モデルベースサンプルラーと同等以上の高品質なサンプルを作成できることを示す。

関連論文リスト

• Kernel Semi-Implicit Variational Inference [27.61976547543748]
  半単純変分推論(SIVI)は、半単純分布を階層的に定義した従来の変分族を拡張している。 SIVIの最近の進歩はSIVI-SMと呼ばれ、ミニマックスの定式化によって抽出可能な別のスコアマッチングの目的を利用している。 我々は、カーネルトリックによる低レベル最適化を不要とするSIVI-SMの亜種であるカーネルSIVI(KSIVI)を提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:21:25Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Non-asymptotic Convergence of Discrete-time Diffusion Models: New Approach and Improved Rate [49.97755400231656]
  我々はDT拡散過程下での分布のかなり大きなクラスに対する収束保証を確立する。 次に、明示的なパラメータ依存を持つ分布の多くの興味深いクラスに結果を専門化します。 そこで本研究では,新しい加速型サンプリング器を提案し,対応する正則サンプリング器の収束率を,全てのシステムパラメータに対して桁違いに向上することを示す。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Semi-Implicit Variational Inference via Score Matching [9.654640791869431]
  半単純変分推論(SIVI)は、変分家族の表現性を大いに豊かにする。 現在のSIVIアプローチでは、サロゲートエビデンスローバウンド(ELBO)を使用したり、高価なインナーループMCMCをトレーニングに使用する場合が多い。 スコアマッチングによる代替学習目標に基づくSIVI-SMを提案する。
  論文  参考訳（メタデータ） (2023-08-19T13:32:54Z)
• Variance-Preserving-Based Interpolation Diffusion Models for Speech Enhancement [53.2171981279647]
  本稿では,VP-および分散拡散(VE)に基づく拡散法の両方をカプセル化するフレームワークを提案する。 本研究では,拡散モデルで発生する一般的な困難を解析し,性能の向上とモデルトレーニングの容易化を図る。 我々は,提案手法の有効性を示すために,公開ベンチマークを用いたいくつかの手法によるモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-06-14T14:22:22Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)
• Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
  我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。 新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-06-16T03:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。