論文の概要: Deep Generative Modeling on Limited Data with Regularization by
Nontransferable Pre-trained Models
- arxiv url: http://arxiv.org/abs/2208.14133v3
- Date: Mon, 10 Apr 2023 09:27:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 23:36:17.356761
- Title: Deep Generative Modeling on Limited Data with Regularization by
Nontransferable Pre-trained Models
- Title(参考訳): 非参照型事前学習モデルによる正規化付き限定データの深部生成モデリング
- Authors: Yong Zhong, Hongtao Liu, Xiaodong Liu, Fan Bao, Weiran Shen, Chongxuan
Li
- Abstract要約: 本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。
Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。
実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
- 参考スコア(独自算出の注目度): 32.52492468276371
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep generative models (DGMs) are data-eager because learning a complex model
on limited data suffers from a large variance and easily overfits. Inspired by
the classical perspective of the bias-variance tradeoff, we propose regularized
deep generative model (Reg-DGM), which leverages a nontransferable pre-trained
model to reduce the variance of generative modeling with limited data.
Formally, Reg-DGM optimizes a weighted sum of a certain divergence and the
expectation of an energy function, where the divergence is between the data and
the model distributions, and the energy function is defined by the pre-trained
model w.r.t. the model distribution. We analyze a simple yet representative
Gaussian-fitting case to demonstrate how the weighting hyperparameter trades
off the bias and the variance. Theoretically, we characterize the existence and
the uniqueness of the global minimum of Reg-DGM in a non-parametric setting and
prove its convergence with neural networks trained by gradient-based methods.
Empirically, with various pre-trained feature extractors and a data-dependent
energy function, Reg-DGM consistently improves the generation performance of
strong DGMs with limited data and achieves competitive results to the
state-of-the-art methods. Our implementation is available at
https://github.com/ML-GSAI/Reg-ADA-APA.
- Abstract(参考訳): DGM(Deep Generative Model)は、限られたデータ上で複雑なモデルを学習することは、大きなばらつきに悩まされ、容易に過度に適合するため、データイーガーである。
バイアス分散トレードオフの古典的視点に着想を得て,非参照型事前学習モデルを利用した正規化深部生成モデル(Reg-DGM)を提案し,限られたデータによる生成モデルの分散を低減する。
形式的には、Reg-DGMは、データとモデル分布の間に偏りがあるエネルギー関数の重み付け和を最適化し、そのエネルギー関数はモデル分布の事前学習モデル w.r.t. によって定義される。
重み付きハイパーパラメータがバイアスと分散をいかに引き離すかを示すために、単純だが代表的なガウスフィッティングのケースを分析した。
理論的には、非パラメトリックな設定でReg-DGMの世界最小値の存在と特異性を特徴づけ、勾配に基づく手法で訓練されたニューラルネットワークとの収束性を証明する。
実証的には、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMは、限られたデータで強いDGMの生成性能を一貫して改善し、最先端の手法に対する競争的な結果を得る。
実装はhttps://github.com/ML-GSAI/Reg-ADA-APAで公開しています。
関連論文リスト
- Toward the Identifiability of Comparative Deep Generative Models [7.5479347719819865]
比較深部生成モデル(DGM)における識別可能性の理論を提案する。
これらのモデルは、一般的な混合関数のクラスにおいて識別性に欠けるが、混合関数が断片的アフィンであるときに驚くほど識別可能であることを示す。
また, モデルミス種別の影響についても検討し, 従来提案されていた比較DGMの正則化手法が, 潜伏変数の数が事前に分かっていない場合に, 識別可能性を高めることを実証的に示す。
論文 参考訳(メタデータ) (2024-01-29T06:10:54Z) - Online Variational Sequential Monte Carlo [56.16884466478886]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳(メタデータ) (2023-12-19T21:45:38Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data
Distribution [76.33705947080871]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳(メタデータ) (2023-05-30T10:07:17Z) - Distributional Learning of Variational AutoEncoder: Application to
Synthetic Data Generation [0.7614628596146602]
本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。
VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。
提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
論文 参考訳(メタデータ) (2023-02-22T11:26:50Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - Information Theoretic Structured Generative Modeling [13.117829542251188]
構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。
この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。
予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
論文 参考訳(メタデータ) (2021-10-12T07:44:18Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳(メタデータ) (2021-06-01T19:19:49Z) - Deep neural network enabled corrective source term approach to hybrid
analysis and modeling [0.0]
ハイブリッド分析モデリング(Hybrid Analysis and Modeling, HAM)は、物理に基づくモデリングとデータ駆動モデリングを組み合わせることを目的とした、新しいモデリングパラダイムである。
補正元項アプローチ(CoSTA)のHAMに対する新しいアプローチを導入し、正当化し、実証する。
論文 参考訳(メタデータ) (2021-05-24T20:17:13Z) - Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。
ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。
ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
論文 参考訳(メタデータ) (2021-04-12T16:23:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。