論文の概要: Training Implicit Generative Models via an Invariant Statistical Loss
- arxiv url: http://arxiv.org/abs/2402.16435v1
- Date: Mon, 26 Feb 2024 09:32:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 13:54:51.942567
- Title: Training Implicit Generative Models via an Invariant Statistical Loss
- Title（参考訳）: 不変統計損失による暗黙的生成モデルの訓練
- Authors: Jos\'e Manuel de Frutos and Pablo M. Olmos and Manuel A. V\'azquez and
Joaqu\'in M\'iguez
- Abstract要約: 暗黙的な生成モデルは任意の複雑なデータ分布を学習する能力を持つ。
マイナス面として、トレーニングでは、敵対的判別器を使用して人工的に生成されたデータと実際のデータを区別する必要がある。
本研究では,1次元(1次元)生成暗黙的モデルを学習するための判別器フリーな手法を開発した。
- 参考スコア（独自算出の注目度）: 3.139474253994318
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Implicit generative models have the capability to learn arbitrary complex
data distributions. On the downside, training requires telling apart real data
from artificially-generated ones using adversarial discriminators, leading to
unstable training and mode-dropping issues. As reported by Zahee et al. (2017),
even in the one-dimensional (1D) case, training a generative adversarial
network (GAN) is challenging and often suboptimal. In this work, we develop a
discriminator-free method for training one-dimensional (1D) generative implicit
models and subsequently expand this method to accommodate multivariate cases.
Our loss function is a discrepancy measure between a suitably chosen
transformation of the model samples and a uniform distribution; hence, it is
invariant with respect to the true distribution of the data. We first formulate
our method for 1D random variables, providing an effective solution for
approximate reparameterization of arbitrary complex distributions. Then, we
consider the temporal setting (both univariate and multivariate), in which we
model the conditional distribution of each sample given the history of the
process. We demonstrate through numerical simulations that this new method
yields promising results, successfully learning true distributions in a variety
of scenarios and mitigating some of the well-known problems that
state-of-the-art implicit methods present.
- Abstract（参考訳）: 暗黙的生成モデルには任意の複雑なデータ分布を学習する能力がある。
マイナス面として、トレーニングでは、敵の識別器を使用して人工的に生成されたデータから実際のデータを分離する必要がある。
Zahee et al. (2017) が報告したように、一次元(1D)の場合においても、GAN (generative adversarial network) の訓練は困難であり、しばしば準最適である。
本研究では,一次元(1次元)生成的暗黙モデルを訓練し,多変量の場合に対応するためにこの方法を拡張するための判別子フリーな手法を開発した。
我々の損失関数は、モデルサンプルの適切な選択された変換と一様分布との間の不一致測度であり、従ってデータの真の分布に関して不変である。
まず, 任意の複素分布の近似再パラメータ化に有効な解として, 1次元確率変数を定式化する。
次に,プロセスの履歴から各サンプルの条件分布をモデル化する時間的設定(単変量と多変量の両方)について考察する。
我々は,本手法が有望な結果をもたらし,様々なシナリオで真の分布を学習し,最先端の暗黙的手法が持つよく知られた問題のいくつかを緩和することを示した。
関連論文リスト
- DistPred: A Distribution-Free Probabilistic Inference Method for Regression and Forecasting [14.390842560217743]
本稿では、回帰予測タスクのためのDistPredという新しい手法を提案する。
予測分布と対象分布の差分を測定するための適切なスコアリングルールを、微分可能な離散形式に変換する。
これにより、モデルは単一のフォワードパスで多数のサンプルをサンプリングし、応答変数の潜在的分布を推定することができる。
論文 参考訳（メタデータ） (2024-06-17T10:33:00Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳（メタデータ） (2023-07-23T03:53:53Z) - Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。
言語生成に適用するための実践的境界を開発する。
本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
論文 参考訳（メタデータ） (2023-02-26T16:32:52Z) - From Points to Functions: Infinite-dimensional Representations in
Diffusion Models [23.916417852496608]
拡散に基づく生成モデルは、非構造的雑音を複雑な対象分布に反復的に伝達することを学ぶ。
異なる時間ステップからの情報コンテンツを組み合わせることで、下流のタスクをより正確に表現できることが示される。
論文 参考訳（メタデータ） (2022-10-25T05:30:53Z) - PAC Generalization via Invariant Representations [41.02828564338047]
有限標本集合における$epsilon$-approximate不変性の概念を考える。
PAC学習にインスパイアされ、有限サンプルのアウト・オブ・ディストリビューション一般化保証を得る。
この結果から, 介入部位が非次境界ノードの一定サイズの部分集合内にある場合に, 周囲次元でスケールしない境界を示す。
論文 参考訳（メタデータ） (2022-05-30T15:50:14Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。
本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。
本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
論文 参考訳（メタデータ） (2021-07-29T17:42:12Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳（メタデータ） (2020-09-01T17:20:08Z) - Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。
我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。
Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-07-24T05:18:17Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。