論文の概要: Tessellated Wasserstein Auto-Encoders

• arxiv url: http://arxiv.org/abs/2005.09923v2
• Date: Thu, 4 Mar 2021 02:08:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 05:15:38.941736
• Title: Tessellated Wasserstein Auto-Encoders
• Title（参考訳）: テセル化ワッサースタインオートエンコーダ
• Authors: Kuo Gai and Shihua Zhang
• Abstract要約: 変分オートエンコーダ(VAE)やワッサースタインオートエンコーダ(WAE-MMD)、スライスワッサースタインオートエンコーダ(SWAE)などの非逆数生成モデルは、生成逆数ネットワーク(WAE-GAN)のワッサースタインオートエンコーダに比べて比較的訓練が容易で、モード崩壊が少ない。 我々は,Tessellated Wasserstein Auto-Encoders (TWAE) と呼ばれる新しいフレームワークを開発した。
• 参考スコア（独自算出の注目度）: 5.9394103049943485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-adversarial generative models such as variational auto-encoder (VAE), Wasserstein auto-encoders with maximum mean discrepancy (WAE-MMD), sliced-Wasserstein auto-encoder (SWAE) are relatively easy to train and have less mode collapse compared to Wasserstein auto-encoder with generative adversarial network (WAE-GAN). However, they are not very accurate in approximating the target distribution in the latent space because they don't have a discriminator to detect the minor difference between real and fake. To this end, we develop a novel non-adversarial framework called Tessellated Wasserstein Auto-encoders (TWAE) to tessellate the support of the target distribution into a given number of regions by the centroidal Voronoi tessellation (CVT) technique and design batches of data according to the tessellation instead of random shuffling for accurate computation of discrepancy. Theoretically, we demonstrate that the error of estimate to the discrepancy decreases when the numbers of samples $n$ and regions $m$ of the tessellation become larger with rates of $\mathcal{O}(\frac{1}{\sqrt{n}})$ and $\mathcal{O}(\frac{1}{\sqrt{m}})$, respectively. Given fixed $n$ and $m$, a necessary condition for the upper bound of measurement error to be minimized is that the tessellation is the one determined by CVT. TWAE is very flexible to different non-adversarial metrics and can substantially enhance their generative performance in terms of Fr\'{e}chet inception distance (FID) compared to VAE, WAE-MMD, SWAE. Moreover, numerical results indeed demonstrate that TWAE is competitive to the adversarial model WAE-GAN, demonstrating its powerful generative ability.
• Abstract（参考訳）: varational auto-encoder (vae)、wasserstein auto-encoder with maximum average discrepancy (wae-mmd)、slicd-wasserstein auto-encoder (swae)といった非敵生成モデルは比較的訓練しやすく、wasserstein auto-encoder with generative adversarial network (wae-gan)に比べてモード崩壊が少ない。 しかし、現実と偽の微妙な違いを検出する判別器が存在しないため、潜在空間におけるターゲット分布の近似にはあまり正確ではない。 そこで本研究では,Tessellated Wasserstein Auto-Encoders (TWAE) と呼ばれる,不一致の正確な計算のためのランダムシャッフルではなく,テッセルレーションに従ってデータバッチを設計するセンタロイド式Voronoi tessellation (CVT) 技術により,対象領域への目標分布の支持をテッセルレートする,新たな非敵的フレームワークを開発した。 理論的には、サンプル数n$ とテッセレーションの領域 $m$ がそれぞれ $\mathcal{o}(\frac{1}{\sqrt{n}})$ と $\mathcal{o}(\frac{1}{\sqrt{m}})$ で大きくなると、推定誤差が減少することを示した。 固定$n$と$m$が与えられた場合、測定誤差の上限を最小化するために必要な条件は、テッセル化がCVTによって決定されるものであることである。 TWAEは、異なる非敵対的指標に対して非常に柔軟であり、VAE、WAE-MMD、SWAEと比較してFr\'{e}chet開始距離(FID)において、その生成性能を大幅に向上させることができる。 さらに,TWAEは敵対モデルWAE-GANと競合し,その強力な生成能力を示した。

関連論文リスト

• A Statistical Analysis of Wasserstein Autoencoders for Intrinsically Low-dimensional Data [38.964624328622]
  We show that Wasserstein Autoencoders (WAE) can learn the data distributions when the network architectures。 その結果,WAEの試料数における余剰リスクの収束率は,高い特徴次元に依存しないことが示唆された。
  論文  参考訳（メタデータ） (2024-02-24T04:13:40Z)
• Concurrent Density Estimation with Wasserstein Autoencoders: Some Statistical Insights [20.894503281724052]
  ワッサースタインオートエンコーダ(Wasserstein Autoencoders、WAE)は、深層生成モデルの領域における先駆的な力である。 我々の研究は、WAEの背後にある機械の理論的理解を提供する試みである。
  論文  参考訳（メタデータ） (2023-12-11T18:27:25Z)
• $t^3$-Variational Autoencoder: Learning Heavy-tailed Data with Student's t and Power Divergence [7.0479532872043755]
  $t3$VAEは、学生のt-distributionsを前者、エンコーダ、デコーダに組み込んだ改良されたVAEフレームワークである。 t3$VAE は CelebA や不均衡な CIFAR-100 データセットにおいて,他のモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-12-02T13:14:28Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• FeDXL: Provable Federated Learning for Deep X-Risk Optimization [105.17383135458897]
  我々は、既存のアルゴリズムが適用できないXリスクのファミリーを最適化するために、新しい連邦学習(FL)問題に取り組む。 Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非可逆性と、異なるマシン間の相互依存にある。
  論文  参考訳（メタデータ） (2022-10-26T00:23:36Z)
• Projected Sliced Wasserstein Autoencoder-based Hyperspectral Images Anomaly Detection [42.585075865267946]
  本稿では,PSW自動エンコーダを用いた異常検出手法を提案する。 特に、計算フレンドリーな固有分解法を利用して、高次元データをスライスする主成分を見つける。 様々な実世界のハイパースペクトル異常検出ベンチマークで実施した総合的な実験は,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2021-12-20T09:21:02Z)
• Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains [34.77971292478243]
  変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。 ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。 偏りのない推定器を装着したVAEは予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-10-05T08:11:55Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。