論文の概要: Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation

• arxiv url: http://arxiv.org/abs/2310.14458v1
• Date: Sun, 22 Oct 2023 23:56:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 23:29:00.522501
• Title: Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation
• Title（参考訳）: 拡散モデルを用いた密度推定のための生成モデルの教師付き学習
• Authors: Yanfang Liu, Minglei Yang, Zezhong Zhang, Feng Bao, Yanzhao Cao, Guannan Zhang
• Abstract要約: 本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
• 参考スコア（独自算出の注目度）: 10.793646707711442
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a supervised learning framework of training generative models for density estimation. Generative models, including generative adversarial networks, normalizing flows, variational auto-encoders, are usually considered as unsupervised learning models, because labeled data are usually unavailable for training. Despite the success of the generative models, there are several issues with the unsupervised training, e.g., requirement of reversible architectures, vanishing gradients, and training instability. To enable supervised learning in generative models, we utilize the score-based diffusion model to generate labeled data. Unlike existing diffusion models that train neural networks to learn the score function, we develop a training-free score estimation method. This approach uses mini-batch-based Monte Carlo estimators to directly approximate the score function at any spatial-temporal location in solving an ordinary differential equation (ODE), corresponding to the reverse-time stochastic differential equation (SDE). This approach can offer both high accuracy and substantial time savings in neural network training. Once the labeled data are generated, we can train a simple fully connected neural network to learn the generative model in the supervised manner. Compared with existing normalizing flow models, our method does not require to use reversible neural networks and avoids the computation of the Jacobian matrix. Compared with existing diffusion models, our method does not need to solve the reverse-time SDE to generate new samples. As a result, the sampling efficiency is significantly improved. We demonstrate the performance of our method by applying it to a set of 2D datasets as well as real data from the UCI repository.
• Abstract（参考訳）: 本稿では,密度推定のための学習モデルの教師付き学習フレームワークを提案する。 生成逆数ネットワーク、正規化フロー、変分自動エンコーダを含む生成モデルは、通常、ラベル付きデータが訓練に利用できないため、教師なし学習モデルとみなされる。 生成モデルの成功にもかかわらず、教師なしのトレーニング、例えば可逆的アーキテクチャの要件、勾配の消滅、不安定なトレーニングなど、いくつかの問題がある。 生成モデルにおける教師あり学習を可能にするために,スコアベース拡散モデルを用いてラベル付きデータを生成する。 ニューラルネットワークでスコア関数を学習する既存の拡散モデルとは異なり、トレーニング不要スコア推定法を開発した。 このアプローチは、逆時間確率微分方程式(SDE)に対応する通常の微分方程式(ODE)の解法において、任意の時空間位置でスコア関数を直接近似するために、ミニバッチベースのモンテカルロ推定器を用いる。 このアプローチは、ニューラルネットワークトレーニングにおいて、高精度かつ相当な時間節約を提供する。 ラベル付きデータを生成すると、単純な完全接続ニューラルネットワークをトレーニングして、教師ありの方法で生成モデルを学ぶことができます。 既存の正規化フローモデルと比較して,本手法では可逆ニューラルネットワークを用いる必要はなく,ヤコビ行列の計算を回避できる。 既存の拡散モデルと比較して,新しいサンプルを生成するために逆時間SDEを解く必要はない。 その結果、サンプリング効率が大幅に向上する。 UCIレポジトリの実際のデータだけでなく、2Dデータセットのセットにも適用することで、本手法の性能を実証する。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Online model error correction with neural networks in the incremental 4D-Var framework [0.0]
  我々は,オンラインモデル誤り訂正のためのニューラルネットワークのトレーニングに使用できる,新しい弱制約4D-Varの定式化を開発した。 本手法はECMWFオブジェクト指向予測システムに実装されている。 その結果,オンライン学習が有効であることが確認され,オフライン学習よりも精度の高いモデル誤差補正が得られた。
  論文  参考訳（メタデータ） (2022-10-25T07:45:33Z)
• Fitting a Directional Microstructure Model to Diffusion-Relaxation MRI Data with Self-Supervised Machine Learning [2.8167227950959206]
  教師付き学習の魅力的な代替手段として、自己教師型機械学習が登場している。 本稿では,指向性マイクロ構造モデルに適用可能な自己教師型機械学習モデルを実証する。 提案手法は, パラメータ推定と計算時間において, 通常の非線形最小二乗整合と比較して明らかに改善されている。
  論文  参考訳（メタデータ） (2022-10-05T15:51:39Z)
• Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse Data using a Learning-based Unscented Kalman Filter [65.93205328894608]
  我々は,動的・シミュレータモデルと実ロボット間の残差を学習する。 学習した残差誤差により、動的モデル、シミュレーション、および実際のハードウェア間の現実的ギャップをさらに埋めることができることを示す。
  論文  参考訳（メタデータ） (2022-09-07T15:15:12Z)
• A Framework for Machine Learning of Model Error in Dynamical Systems [7.384376731453594]
  データから動的システムを特定するために,機械的アプローチと機械学習アプローチを混在させる統一フレームワークを提案する。 モデルエラーがメモリレスであり、大きなメモリを持つ問題に対して、連続時間と離散時間の両方で問題を提起した。 ハイブリッド手法は、データ飢餓、モデルの複雑さの要求、全体的な予測性能において、データ駆動アプローチよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-14T12:47:48Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Sparsely constrained neural networks for model discovery of PDEs [0.0]
  本稿では,任意のスパース回帰手法を用いて,ディープラーニングに基づくサロゲートのスパースパターンを決定するモジュラーフレームワークを提案する。 異なるネットワークアーキテクチャと疎度推定器がモデル発見精度と収束性を,いくつかのベンチマーク例でどのように改善するかを示す。
  論文  参考訳（メタデータ） (2020-11-09T11:02:40Z)
• Learning Generative Models using Denoising Density Estimators [29.068491722778827]
  縮退密度推定器(DDE)に基づく新しい生成モデルを提案する。 我々の主な貢献は、KL分割を直接最小化することで生成モデルを得る新しい技術である。 実験結果から, 生成モデル学習における密度推定と競争性能が大幅に向上した。
  論文  参考訳（メタデータ） (2020-01-08T20:30:40Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。