論文の概要: Robust training of implicit generative models for multivariate and heavy-tailed distributions with an invariant statistical loss

• arxiv url: http://arxiv.org/abs/2410.22381v1
• Date: Tue, 29 Oct 2024 10:27:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:29:23.895670
• Title: Robust training of implicit generative models for multivariate and heavy-tailed distributions with an invariant statistical loss
• Title（参考訳）: 不変統計損失をもつ多変量分布と重尾分布の暗黙的生成モデルのロバストトレーニング
• Authors: José Manuel de Frutos, Manuel A. Vázquez, Pablo Olmos, Joaquín Míguez,
• Abstract要約: 我々は、引用2024トレーニングで導入されたISL(textitinvariant statistics loss)法に基づいて構築する。 重み付きおよび多変量データ分散を扱うように拡張する。 ジェネレーティブ・ジェネレーティブ・モデリングにおけるその性能を評価し、ジェネレーティブ・ディバイサル・ネットワーク(GAN)の事前学習技術としての可能性を探る。
• 参考スコア（独自算出の注目度）: 0.4249842620609682
• License:
• Abstract: Traditional implicit generative models are capable of learning highly complex data distributions. However, their training involves distinguishing real data from synthetically generated data using adversarial discriminators, which can lead to unstable training dynamics and mode dropping issues. In this work, we build on the \textit{invariant statistical loss} (ISL) method introduced in \cite{de2024training}, and extend it to handle heavy-tailed and multivariate data distributions. The data generated by many real-world phenomena can only be properly characterised using heavy-tailed probability distributions, and traditional implicit methods struggle to effectively capture their asymptotic behavior. To address this problem, we introduce a generator trained with ISL, that uses input noise from a generalised Pareto distribution (GPD). We refer to this generative scheme as Pareto-ISL for conciseness. Our experiments demonstrate that Pareto-ISL accurately models the tails of the distributions while still effectively capturing their central characteristics. The original ISL function was conceived for 1D data sets. When the actual data is $n$-dimensional, a straightforward extension of the method was obtained by targeting the $n$ marginal distributions of the data. This approach is computationally infeasible and ineffective in high-dimensional spaces. To overcome this, we extend the 1D approach using random projections and define a new loss function suited for multivariate data, keeping problems tractable by adjusting the number of projections. We assess its performance in multidimensional generative modeling and explore its potential as a pretraining technique for generative adversarial networks (GANs) to prevent mode collapse, reporting promising results and highlighting its robustness across various hyperparameter settings.
• Abstract（参考訳）: 従来の暗黙的生成モデルは、非常に複雑なデータ分布を学習することができる。 しかし、それらのトレーニングは、逆微分器を用いて合成されたデータと実際のデータを区別することで、不安定なトレーニングダイナミクスやモード降下問題を引き起こす可能性がある。 本研究は, \cite{de2024training} で導入された \textit{invariant statistics loss} (ISL) 法に基づいて, 重み付きおよび多変量データ分布を扱うように拡張する。 多くの実世界の現象によって生成されたデータは、重み付けされた確率分布によってのみ適切に特徴づけられ、従来の暗黙の手法は、その漸近的な振る舞いを効果的に捉えるのに苦労する。 この問題に対処するために、一般化されたパレート分布(GPD)からの入力ノイズを利用するISLで訓練されたジェネレータを導入する。 本稿では、この生成方式を簡潔性のためのPareto-ISLと呼ぶ。 実験の結果,Pareto-ISLは分布の尾部を正確にモデル化し,その中心となる特性を効果的に捉えることができた。 元のISL関数は1Dデータセットのために考案された。 実際のデータが$n$次元である場合、そのデータの限界分布をターゲットとして、その手法の直接的な拡張が得られた。 このアプローチは計算不可能であり、高次元空間では有効ではない。 これを解決するために、ランダムプロジェクションを用いて1次元アプローチを拡張し、多変量データに適した新しい損失関数を定義する。 多次元生成モデルにおけるその性能を評価し、モード崩壊防止のためのGAN(Generative Adversarial Network)の事前学習手法としての可能性を探り、将来性のある結果を報告し、様々なハイパーパラメータ設定でその堅牢性を強調する。

関連論文リスト

• Constrained Diffusion Models via Dual Training [80.03953599062365]
  我々は,要求に応じて所望の分布に基づいて制約付き拡散モデルを開発する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Training Implicit Generative Models via an Invariant Statistical Loss [3.139474253994318]
  暗黙的な生成モデルは任意の複雑なデータ分布を学習する能力を持つ。 マイナス面として、トレーニングでは、敵対的判別器を使用して人工的に生成されたデータと実際のデータを区別する必要がある。 本研究では,1次元(1次元)生成暗黙的モデルを学習するための判別器フリーな手法を開発した。
  論文  参考訳（メタデータ） (2024-02-26T09:32:28Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Learning Multivariate CDFs and Copulas using Tensor Factorization [39.24470798045442]
  データの多変量分布を学習することは、統計学と機械学習における中核的な課題である。 本研究では,多変量累積分布関数(CDF)を学習し,混合確率変数を扱えるようにすることを目的とする。 混合確率変数の合同CDFの任意のグリッドサンプリング版は、単純ベイズモデルとして普遍表現を許容することを示す。 提案モデルの性能を,回帰,サンプリング,データ計算を含むいくつかの合成および実データおよびアプリケーションで実証する。
  論文  参考訳（メタデータ） (2022-10-13T16:18:46Z)
• Learn from Unpaired Data for Image Restoration: A Variational Bayes Approach [18.007258270845107]
  境界分布から抽出したデータから結合確率密度関数を学習するための深層生成法 LUD-VAE を提案する。 本稿では,LUD-VAEによって生成された合成データを用いて,実世界の画像認識と超分解能タスクに適用し,モデルを訓練する。
  論文  参考訳（メタデータ） (2022-04-21T13:27:17Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。