論文の概要: Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models

• arxiv url: http://arxiv.org/abs/2208.14133v1
• Date: Tue, 30 Aug 2022 10:28:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-31 12:38:34.818069
• Title: Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models
• Title（参考訳）: 非参照型事前学習モデルによる正規化付き限定データの深部生成モデリング
• Authors: Yong Zhong, Hongtao Liu, Xiaodong Liu, Fan Bao, Weiran Shen, Chongxuan Li
• Abstract要約: 本稿では,限られたデータを用いた生成モデルの分散を低減するために,表現型深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、データ制限のあるいくつかのベンチマークにおいて、StyleGAN2やADAを含む強力なDGMの生成性能を一貫して改善する。
• 参考スコア（独自算出の注目度）: 32.52492468276371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative models (DGMs) are data-eager. Essentially, it is because learning a complex model on limited data suffers from a large variance and easily overfits. Inspired by the \emph{bias-variance dilemma}, we propose \emph{regularized deep generative model} (Reg-DGM), which leverages a nontransferable pre-trained model to reduce the variance of generative modeling with limited data. Formally, Reg-DGM optimizes a weighted sum of a certain divergence between the data distribution and the DGM and the expectation of an energy function defined by the pre-trained model w.r.t. the DGM. Theoretically, we characterize the existence and uniqueness of the global minimum of Reg-DGM in the nonparametric setting and rigorously prove the statistical benefits of Reg-DGM w.r.t. the mean squared error and the expected risk in a simple yet representative Gaussian-fitting example. Empirically, it is quite flexible to specify the DGM and the pre-trained model in Reg-DGM. In particular, with a ResNet-18 classifier pre-trained on ImageNet and a data-dependent energy function, Reg-DGM consistently improves the generation performance of strong DGMs including StyleGAN2 and ADA on several benchmarks with limited data and achieves competitive results to the state-of-the-art methods.
• Abstract（参考訳）: 深層生成モデル(DGM)はデータイーガーである。 本質的には、限られたデータで複雑なモデルを学ぶことは、大きな分散と、容易に過剰な適合に苦しむからです。 本稿では,非移動可能事前学習モデルを用いて限定データによる生成モデルの分散を低減した,emph{regularized deep generative model} (reg-dgm)を提案する。 形式的には、Reg-DGMはデータ分布とDGMの間の一定のばらつきの重み付け和と、事前訓練されたモデル w.r.t. によって定義されたエネルギー関数の期待を最適化する。 理論的には、非パラメトリックな設定におけるReg-DGMの大域的最小値の存在と特異性を特徴付け、単純だが代表的なガウス整合例における平均二乗誤差と期待リスクの統計的利点を厳密に証明する。 経験的には、Reg-DGMでDGMと事前訓練されたモデルを指定することは、非常に柔軟である。 特に、ImageNetで事前訓練されたResNet-18分類器とデータ依存エネルギー関数により、Reg-DGMは、限られたデータを持ついくつかのベンチマークにおいて、StyleGAN2やADAを含む強力なDGMの生成性能を一貫して改善し、最先端の手法に対する競合的な結果を得る。

関連論文リスト

• Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
  本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。 この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T17:53:23Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Toward the Identifiability of Comparative Deep Generative Models [7.5479347719819865]
  比較深部生成モデル(DGM)における識別可能性の理論を提案する。 これらのモデルは、一般的な混合関数のクラスにおいて識別性に欠けるが、混合関数が断片的アフィンであるときに驚くほど識別可能であることを示す。 また, モデルミス種別の影響についても検討し, 従来提案されていた比較DGMの正則化手法が, 潜伏変数の数が事前に分かっていない場合に, 識別可能性を高めることを実証的に示す。
  論文  参考訳（メタデータ） (2024-01-29T06:10:54Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Generative Marginalization Models [21.971818180264943]
  境界化モデル(英: marginalization model、MAM)は、高次元離散データのための新しい生成モデルである。 それらは、すべての誘導された限界分布を明示的にモデル化することによって、スケーラブルで柔軟な生成モデリングを提供する。 エネルギーベースのトレーニングタスクでは、MAMは従来の方法のスケールを超える高次元問題の任意の順序生成モデリングを可能にする。
  論文  参考訳（メタデータ） (2023-10-19T17:14:29Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Distributional Learning of Variational AutoEncoder: Application to Synthetic Data Generation [0.7614628596146602]
  本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。 VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。 提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
  論文  参考訳（メタデータ） (2023-02-22T11:26:50Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Deep neural network enabled corrective source term approach to hybrid analysis and modeling [0.0]
  ハイブリッド分析モデリング(Hybrid Analysis and Modeling, HAM)は、物理に基づくモデリングとデータ駆動モデリングを組み合わせることを目的とした、新しいモデリングパラダイムである。 補正元項アプローチ(CoSTA)のHAMに対する新しいアプローチを導入し、正当化し、実証する。
  論文  参考訳（メタデータ） (2021-05-24T20:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。