Fugu-MT 論文翻訳(概要): Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models

論文の概要: Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models

arxiv url: http://arxiv.org/abs/2208.14133v3
Date: Mon, 10 Apr 2023 09:27:28 GMT
ステータス: 処理完了
システム内更新日: 2023-04-11 23:36:17.356761
Title: Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models
Title（参考訳）: 非参照型事前学習モデルによる正規化付き限定データの深部生成モデリング
Authors: Yong Zhong, Hongtao Liu, Xiaodong Liu, Fan Bao, Weiran Shen, Chongxuan Li
Abstract要約: 本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
参考スコア（独自算出の注目度）: 32.52492468276371
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep generative models (DGMs) are data-eager because learning a complex model on limited data suffers from a large variance and easily overfits. Inspired by the classical perspective of the bias-variance tradeoff, we propose regularized deep generative model (Reg-DGM), which leverages a nontransferable pre-trained model to reduce the variance of generative modeling with limited data. Formally, Reg-DGM optimizes a weighted sum of a certain divergence and the expectation of an energy function, where the divergence is between the data and the model distributions, and the energy function is defined by the pre-trained model w.r.t. the model distribution. We analyze a simple yet representative Gaussian-fitting case to demonstrate how the weighting hyperparameter trades off the bias and the variance. Theoretically, we characterize the existence and the uniqueness of the global minimum of Reg-DGM in a non-parametric setting and prove its convergence with neural networks trained by gradient-based methods. Empirically, with various pre-trained feature extractors and a data-dependent energy function, Reg-DGM consistently improves the generation performance of strong DGMs with limited data and achieves competitive results to the state-of-the-art methods. Our implementation is available at https://github.com/ML-GSAI/Reg-ADA-APA.
Abstract（参考訳）: DGM(Deep Generative Model)は、限られたデータ上で複雑なモデルを学習することは、大きなばらつきに悩まされ、容易に過度に適合するため、データイーガーである。バイアス分散トレードオフの古典的視点に着想を得て,非参照型事前学習モデルを利用した正規化深部生成モデル(Reg-DGM)を提案し,限られたデータによる生成モデルの分散を低減する。形式的には、Reg-DGMは、データとモデル分布の間に偏りがあるエネルギー関数の重み付け和を最適化し、そのエネルギー関数はモデル分布の事前学習モデル w.r.t. によって定義される。重み付きハイパーパラメータがバイアスと分散をいかに引き離すかを示すために、単純だが代表的なガウスフィッティングのケースを分析した。理論的には、非パラメトリックな設定でReg-DGMの世界最小値の存在と特異性を特徴づけ、勾配に基づく手法で訓練されたニューラルネットワークとの収束性を証明する。実証的には、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMは、限られたデータで強いDGMの生成性能を一貫して改善し、最先端の手法に対する競争的な結果を得る。実装はhttps://github.com/ML-GSAI/Reg-ADA-APAで公開しています。

関連論文リスト

Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
論文参考訳（メタデータ） (2024-10-02T17:53:23Z)
Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文参考訳（メタデータ） (2024-05-01T15:59:00Z)
Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文参考訳（メタデータ） (2024-02-19T02:08:09Z)
Toward the Identifiability of Comparative Deep Generative Models [7.5479347719819865]
比較深部生成モデル(DGM)における識別可能性の理論を提案する。これらのモデルは、一般的な混合関数のクラスにおいて識別性に欠けるが、混合関数が断片的アフィンであるときに驚くほど識別可能であることを示す。また, モデルミス種別の影響についても検討し, 従来提案されていた比較DGMの正則化手法が, 潜伏変数の数が事前に分かっていない場合に, 識別可能性を高めることを実証的に示す。
論文参考訳（メタデータ） (2024-01-29T06:10:54Z)
Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文参考訳（メタデータ） (2023-12-19T21:45:38Z)
Generative Marginalization Models [21.971818180264943]
境界化モデル(英: marginalization model、MAM)は、高次元離散データのための新しい生成モデルである。それらは、すべての誘導された限界分布を明示的にモデル化することによって、スケーラブルで柔軟な生成モデリングを提供する。エネルギーベースのトレーニングタスクでは、MAMは従来の方法のスケールを超える高次元問題の任意の順序生成モデリングを可能にする。
論文参考訳（メタデータ） (2023-10-19T17:14:29Z)
Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文参考訳（メタデータ） (2023-05-30T10:07:17Z)
Distributional Learning of Variational AutoEncoder: Application to Synthetic Data Generation [0.7614628596146602]
本稿では,VAEフレームワークの計算上の利点を犠牲にすることなく,モデル容量を拡大する手法を提案する。 VAEモデルのデコーダは、非対称ラプラス分布の無限混合からなる。提案したモデルを合成データ生成に適用し,特にデータプライバシの調整が容易であることを示す。
論文参考訳（メタデータ） (2023-02-22T11:26:50Z)
On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文参考訳（メタデータ） (2022-06-09T17:12:32Z)
Deep neural network enabled corrective source term approach to hybrid analysis and modeling [0.0]
ハイブリッド分析モデリング(Hybrid Analysis and Modeling, HAM)は、物理に基づくモデリングとデータ駆動モデリングを組み合わせることを目的とした、新しいモデリングパラダイムである。補正元項アプローチ(CoSTA)のHAMに対する新しいアプローチを導入し、正当化し、実証する。
論文参考訳（メタデータ） (2021-05-24T20:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。