論文の概要: Efficient Generative Modeling via Penalized Optimal Transport Network

• arxiv url: http://arxiv.org/abs/2402.10456v2
• Date: Tue, 07 Jan 2025 10:03:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 16:58:02.550014
• Title: Efficient Generative Modeling via Penalized Optimal Transport Network
• Title（参考訳）: ペナルティ化された最適輸送ネットワークによる効率的な生成モデル
• Authors: Wenhui Sophia Lu, Chenyang Zhong, Wing Hung Wong,
• Abstract要約: 本稿では,Wartherally-penalized Wasserstein (MPW) 距離に基づく多目的深部生成モデルを提案する。 MPW距離を通じて、POTNetは、低次元の辺縁情報を利用して、関節分布の全体的アライメントを導出する。 我々は,MPW損失の一般化誤差に基づく非漸近的境界を導出し,POTNetで学習した生成分布の収束率を確立する。
• 参考スコア（独自算出の注目度）: 1.8079016557290342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The generation of synthetic data with distributions that faithfully emulate the underlying data-generating mechanism holds paramount significance. Wasserstein Generative Adversarial Networks (WGANs) have emerged as a prominent tool for this task; however, due to the delicate equilibrium of the minimax formulation and the instability of Wasserstein distance in high dimensions, WGAN often manifests the pathological phenomenon of mode collapse. This results in generated samples that converge to a restricted set of outputs and fail to adequately capture the tail behaviors of the true distribution. Such limitations can lead to serious downstream consequences. To this end, we propose the Penalized Optimal Transport Network (POTNet), a versatile deep generative model based on the marginally-penalized Wasserstein (MPW) distance. Through the MPW distance, POTNet effectively leverages low-dimensional marginal information to guide the overall alignment of joint distributions. Furthermore, our primal-based framework enables direct evaluation of the MPW distance, thus eliminating the need for a critic network. This formulation circumvents training instabilities inherent in adversarial approaches and avoids the need for extensive parameter tuning. We derive a non-asymptotic bound on the generalization error of the MPW loss and establish convergence rates of the generative distribution learned by POTNet. Our theoretical analysis together with extensive empirical evaluations demonstrate the superior performance of POTNet in accurately capturing underlying data structures, including their tail behaviors and minor modalities. Moreover, our model achieves orders of magnitude speedup during the sampling stage compared to state-of-the-art alternatives, which enables computationally efficient large-scale synthetic data generation.
• Abstract（参考訳）: 基礎となるデータ生成機構を忠実にエミュレートした分布を持つ合成データの生成は、最重要となる。 Wasserstein Generative Adversarial Networks (WGANs) は、このタスクの顕著なツールとして登場したが、ミニマックス定式化の微妙な平衡と高次元でのWasserstein距離の不安定性により、しばしばモード崩壊の病理学的現象を示す。 この結果、出力の制限された集合に収束し、真の分布の尾の挙動を適切に捉えることができない生成サンプルが生成される。 このような制限は、深刻なダウンストリームの結果をもたらす可能性がある。 そこで本研究では,Pentalized Optimal Transport Network (POTNet)を提案する。 MPW距離を通じて、POTNetは、低次元の辺縁情報を利用して、関節分布の全体的アライメントを導出する。 さらに,本フレームワークによりMPW距離の直接評価が可能となり,批評家ネットワークの必要がなくなる。 この定式化は、敵のアプローチに固有のトレーニングの不安定性を回避し、広範囲なパラメータチューニングの必要性を回避する。 我々は,MPW損失の一般化誤差に基づく非漸近的境界を導出し,POTNetで学習した生成分布の収束率を確立する。 我々の理論解析と広範な経験的評価は,POTNetの尾の挙動や微妙なモダリティなど,基礎となるデータ構造を正確に把握する上で,優れた性能を示すものである。 さらに,本モデルでは,大規模合成データ生成を計算効率よく行うことのできる,最先端の代替手法と比較して,サンプリング段階での桁違いの高速化を実現している。

関連論文リスト

• Modes of Sequence Models and Learning Coefficients [0.6906005491572401]
  変換器ネットワークにおける損失ランドスケープの計測可能な特性とデータ中のパターンをリンクするシーケンスモデリングの幾何学的記述を開発する。 局所学習係数の推定値がデータ依存しきい値以下のモードに無関心であることを理論的に示す。 この洞察は、ネットワークパラメータが人口減少の厳格な最小限ではない場合でも、なぜ信頼できるLLC推定値が得られるのかを明らかにする。
  論文  参考訳（メタデータ） (2025-04-25T03:38:10Z)
• Data Augmentation via Diffusion Model to Enhance AI Fairness [1.2979015577834876]
  本稿では,AIフェアネスを改善するために合成データを生成する拡散モデルの可能性について検討する。 Tabular Denoising Diffusion Probabilistic Model (Tab-DDPM) を用いてデータ拡張を行った。 実験結果から,Tab-DDPMにより生成された合成データは,二項分類の公平性を向上させることが示された。
  論文  参考訳（メタデータ） (2024-10-20T18:52:31Z)
• Network reconstruction via the minimum description length principle [0.0]
  階層的ベイズ推定と重み量子化に基づく別の非パラメトリック正則化スキームを提案する。 提案手法は最小記述長 (MDL) の原理に従い, データの最大圧縮を可能にする重み分布を明らかにする。 提案手法は, 人工ネットワークと経験ネットワークの再構築において, 体系的に精度を向上することを示した。
  論文  参考訳（メタデータ） (2024-05-02T05:35:09Z)
• An improved tabular data generator with VAE-GMM integration [9.4491536689161]
  本稿では,現在のアプローチの限界に対処する新しい変分オートエンコーダ(VAE)モデルを提案する。 本手法は,TVAEモデルにインスパイアされたベイジアン・ガウス混合モデル(BGM)をVAEアーキテクチャに組み込む。 我々は,2つの医療関連データセットを含む混合データ型を持つ実世界の3つのデータセットに対して,我々のモデルを徹底的に検証する。
  論文  参考訳（メタデータ） (2024-04-12T12:31:06Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• CasTGAN: Cascaded Generative Adversarial Network for Realistic Tabular Data Synthesis [0.4999814847776097]
  近年,GAN(Generative Adversarial Network)が注目されている。 合成データの妥当性と基礎となるプライバシーに関する懸念は、十分に対処されていない主要な課題を表している。
  論文  参考訳（メタデータ） (2023-07-01T16:52:18Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Estimating Regression Predictive Distributions with Sample Networks [17.935136717050543]
  モデル不確実性に対する一般的なアプローチは、パラメトリック分布を選択し、最大推定を用いてデータに適合させることである。 選択されたパラメトリック形式は、データ生成分布に不適合であり、信頼できない不確実性推定をもたらす。 出力分布にパラメトリック形式を指定することを避けるため,不確実性をモデル化するためのフレキシブルでスケーラブルなアーキテクチャであるSampleNetを提案する。
  論文  参考訳（メタデータ） (2022-11-24T17:23:29Z)
• Language Models are Realistic Tabular Data Generators [15.851912974874116]
  本稿では,GReaT (Generation of Realistic Tabular data) を提案する。 提案手法の有効性を,複数角度から得られたデータサンプルの有効性と品質を定量化する一連の実験で実証した。
  論文  参考訳（メタデータ） (2022-10-12T15:03:28Z)
• Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models [32.52492468276371]
  本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。 実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
  論文  参考訳（メタデータ） (2022-08-30T10:28:50Z)
• Compound Density Networks for Risk Prediction using Electronic Health Records [1.1786249372283562]
  複合密度ネットワーク(CDNet)を用いたエンドツーエンド統合手法を提案する。 CDNetは、単一のフレームワーク内で計算方法と予測モデルを調整できるようにする。 我々は,MIMIC-IIIデータセット上での死亡予測タスクにおいてCDNetを検証した。
  論文  参考訳（メタデータ） (2022-08-02T09:04:20Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Variational Autoencoder Generative Adversarial Network for Synthetic Data Generation in Smart Home [15.995891934245334]
  本稿では,変動型自動エンコーダ生成適応ネットワーク(VAE-GAN)をスマートグリッドデータ生成モデルとして提案する。 VAE-GANは、様々な種類のデータ分布を学習し、同じ分布から可塑性サンプルを生成することができる。 実験により,提案した合成データ生成モデルは,バニラGANネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-19T02:30:25Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks [82.61546580149427]
  GAN(Generative Adversarial Networks)は教師なし学習において大きな成功を収めている。 本稿では,H'older空間における密度データ分布推定のためのGANの近似と統計的保証を提供する。
  論文  参考訳（メタデータ） (2020-02-10T16:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。