論文の概要: Efficient Generative Modeling via Penalized Optimal Transport Network

• arxiv url: http://arxiv.org/abs/2402.10456v2
• Date: Tue, 07 Jan 2025 10:03:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:48:03.780816
• Title: Efficient Generative Modeling via Penalized Optimal Transport Network
• Title（参考訳）: ペナルティ化された最適輸送ネットワークによる効率的な生成モデル
• Authors: Wenhui Sophia Lu, Chenyang Zhong, Wing Hung Wong,
• Abstract要約: 本稿では,Wartherally-penalized Wasserstein (MPW) 距離に基づく多目的深部生成モデルを提案する。 MPW距離を通じて、POTNetは、低次元の辺縁情報を利用して、関節分布の全体的アライメントを導出する。 我々は,MPW損失の一般化誤差に基づく非漸近的境界を導出し,POTNetで学習した生成分布の収束率を確立する。
• 参考スコア（独自算出の注目度）: 1.8079016557290342
• License:
• Abstract: The generation of synthetic data with distributions that faithfully emulate the underlying data-generating mechanism holds paramount significance. Wasserstein Generative Adversarial Networks (WGANs) have emerged as a prominent tool for this task; however, due to the delicate equilibrium of the minimax formulation and the instability of Wasserstein distance in high dimensions, WGAN often manifests the pathological phenomenon of mode collapse. This results in generated samples that converge to a restricted set of outputs and fail to adequately capture the tail behaviors of the true distribution. Such limitations can lead to serious downstream consequences. To this end, we propose the Penalized Optimal Transport Network (POTNet), a versatile deep generative model based on the marginally-penalized Wasserstein (MPW) distance. Through the MPW distance, POTNet effectively leverages low-dimensional marginal information to guide the overall alignment of joint distributions. Furthermore, our primal-based framework enables direct evaluation of the MPW distance, thus eliminating the need for a critic network. This formulation circumvents training instabilities inherent in adversarial approaches and avoids the need for extensive parameter tuning. We derive a non-asymptotic bound on the generalization error of the MPW loss and establish convergence rates of the generative distribution learned by POTNet. Our theoretical analysis together with extensive empirical evaluations demonstrate the superior performance of POTNet in accurately capturing underlying data structures, including their tail behaviors and minor modalities. Moreover, our model achieves orders of magnitude speedup during the sampling stage compared to state-of-the-art alternatives, which enables computationally efficient large-scale synthetic data generation.
• Abstract（参考訳）: 基礎となるデータ生成機構を忠実にエミュレートした分布を持つ合成データの生成は、最重要となる。 Wasserstein Generative Adversarial Networks (WGANs) は、このタスクの顕著なツールとして登場したが、ミニマックス定式化の微妙な平衡と高次元でのWasserstein距離の不安定性により、しばしばモード崩壊の病理学的現象を示す。 この結果、出力の制限された集合に収束し、真の分布の尾の挙動を適切に捉えることができない生成サンプルが生成される。 このような制限は、深刻なダウンストリームの結果をもたらす可能性がある。 そこで本研究では,Pentalized Optimal Transport Network (POTNet)を提案する。 MPW距離を通じて、POTNetは、低次元の辺縁情報を利用して、関節分布の全体的アライメントを導出する。 さらに,本フレームワークによりMPW距離の直接評価が可能となり,批評家ネットワークの必要がなくなる。 この定式化は、敵のアプローチに固有のトレーニングの不安定性を回避し、広範囲なパラメータチューニングの必要性を回避する。 我々は,MPW損失の一般化誤差に基づく非漸近的境界を導出し,POTNetで学習した生成分布の収束率を確立する。 我々の理論解析と広範な経験的評価は,POTNetの尾の挙動や微妙なモダリティなど,基礎となるデータ構造を正確に把握する上で,優れた性能を示すものである。 さらに,本モデルでは,大規模合成データ生成を計算効率よく行うことのできる,最先端の代替手法と比較して,サンプリング段階での桁違いの高速化を実現している。

関連論文リスト

• Network reconstruction via the minimum description length principle [0.0]
  階層的ベイズ推定と重み量子化に基づく別の非パラメトリック正則化スキームを提案する。 提案手法は最小記述長 (MDL) の原理に従い, データの最大圧縮を可能にする重み分布を明らかにする。 提案手法は, 人工ネットワークと経験ネットワークの再構築において, 体系的に精度を向上することを示した。
  論文  参考訳（メタデータ） (2024-05-02T05:35:09Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Estimating Regression Predictive Distributions with Sample Networks [17.935136717050543]
  モデル不確実性に対する一般的なアプローチは、パラメトリック分布を選択し、最大推定を用いてデータに適合させることである。 選択されたパラメトリック形式は、データ生成分布に不適合であり、信頼できない不確実性推定をもたらす。 出力分布にパラメトリック形式を指定することを避けるため,不確実性をモデル化するためのフレキシブルでスケーラブルなアーキテクチャであるSampleNetを提案する。
  論文  参考訳（メタデータ） (2022-11-24T17:23:29Z)
• Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models [32.52492468276371]
  本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。 実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
  論文  参考訳（メタデータ） (2022-08-30T10:28:50Z)
• Compound Density Networks for Risk Prediction using Electronic Health Records [1.1786249372283562]
  複合密度ネットワーク(CDNet)を用いたエンドツーエンド統合手法を提案する。 CDNetは、単一のフレームワーク内で計算方法と予測モデルを調整できるようにする。 我々は,MIMIC-IIIデータセット上での死亡予測タスクにおいてCDNetを検証した。
  論文  参考訳（メタデータ） (2022-08-02T09:04:20Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Inferential Wasserstein Generative Adversarial Networks [9.859829604054127]
  自動エンコーダとWGANを融合する原理的フレームワークである新しい推論ワッサースタインGAN(iWGAN)モデルを導入する。 iWGANはモード崩壊の症状を大幅に緩和し、収束を高速化し、各サンプルの品質チェックの測定を行うことができる。
  論文  参考訳（メタデータ） (2021-09-13T00:43:21Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)
• Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks [82.61546580149427]
  GAN(Generative Adversarial Networks)は教師なし学習において大きな成功を収めている。 本稿では,H'older空間における密度データ分布推定のためのGANの近似と統計的保証を提供する。
  論文  参考訳（メタデータ） (2020-02-10T16:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。