論文の概要: Towards Generalized Implementation of Wasserstein Distance in GANs

• arxiv url: http://arxiv.org/abs/2012.03420v2
• Date: Tue, 12 Jan 2021 11:30:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 09:41:39.918834
• Title: Towards Generalized Implementation of Wasserstein Distance in GANs
• Title（参考訳）: gansにおけるwasserstein距離の一般化化に向けて
• Authors: Minkai Xu, Zhiming Zhou, Guansong Lu, Jian Tang, Weinan Zhang, Yong Yu
• Abstract要約: ワッサーシュタイン GANs (WGANs) は、ワッサーシュタイン距離のカンタロヴィチ-ルビンシュタイン双対性上に構築された。 実際には、GANの他の変種よりも常に優れているとは限らない。 Sobolev Wasserstein GAN(SWGAN)という一般的なWGANトレーニングスキームを提案します。
• 参考スコア（独自算出の注目度）: 46.79148259312607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Wasserstein GANs (WGANs), built upon the Kantorovich-Rubinstein (KR) duality of Wasserstein distance, is one of the most theoretically sound GAN models. However, in practice it does not always outperform other variants of GANs. This is mostly due to the imperfect implementation of the Lipschitz condition required by the KR duality. Extensive work has been done in the community with different implementations of the Lipschitz constraint, which, however, is still hard to satisfy the restriction perfectly in practice. In this paper, we argue that the strong Lipschitz constraint might be unnecessary for optimization. Instead, we take a step back and try to relax the Lipschitz constraint. Theoretically, we first demonstrate a more general dual form of the Wasserstein distance called the Sobolev duality, which relaxes the Lipschitz constraint but still maintains the favorable gradient property of the Wasserstein distance. Moreover, we show that the KR duality is actually a special case of the Sobolev duality. Based on the relaxed duality, we further propose a generalized WGAN training scheme named Sobolev Wasserstein GAN (SWGAN), and empirically demonstrate the improvement of SWGAN over existing methods with extensive experiments.
• Abstract（参考訳）: ワッサーシュタイン距離のカントロヴィチ・ルビンシュタイン(KR)双対性に基づいて構築されたワッサーシュタイン GAN (WGAN) は、理論上最も健全なGANモデルの一つである。 しかし実際には、GANの他の変種よりも常に優れているわけではない。 これは主にKR双対性によって要求されるリプシッツ条件の不完全な実装のためである。 リプシッツ制約の異なる実装でコミュニティで大規模な作業が行われてきたが、実際にはその制約を完全に満たすのは難しい。 本稿では,強いリプシッツ制約が最適化に不要である可能性を論じる。 その代わり、一歩後退して、リプシッツ制約を緩和しようとする。 理論的には、ワッサーシュタイン距離のより一般的な双対形式であるソボレフ双対性は、リプシッツの制約を緩和するが、ワッサーシュタイン距離の好ましい勾配特性を維持している。 さらに、KR双対性は実際にはソボレフ双対性の特別な場合であることを示す。 さらに, 緩和双対性に基づき, sobolev wasserstein gan (swgan) という一般化した wgan トレーニングスキームを提案し, 既存の手法に対する swgan の改善を広範囲な実験で実証した。

関連論文リスト

• Conditional Wasserstein Distances with Applications in Bayesian OT Flow Matching [1.609940380983903]
  逆問題において、多くの条件生成モデルは、合同測度と学習近似との距離を最小化することにより、後続測度を近似する。 条件付きワッサーシュタイン距離は、後部の期待するワッサーシュタイン距離と等しいような制限された結合の集合を通じて導入する。 我々は条件付きワッサーシュタイン距離の理論的性質を導出し、対応する測地線と速度場と流れのODEを特徴づける。
  論文  参考訳（メタデータ） (2024-03-27T15:54:55Z)
• Offline Imitation from Observation via Primal Wasserstein State Occupancy Matching [111.78179839856293]
  本稿では,学習者と専門的国家占有者の間の一次ワッサースタイン距離を最小化するために,プライマルワッサースタインDICEを提案する。 我々のフレームワークは SMODICE の一般化であり、$f$-divergence と Wasserstein の最小化を統一する最初の研究である。
  論文  参考訳（メタデータ） (2023-11-02T15:41:57Z)
• Y-Diagonal Couplings: Approximating Posteriors with Conditional Wasserstein Distances [0.4419843514606336]
  逆問題において、多くの条件生成モデルは、合同測度と学習近似との距離を最小化することにより、後続測度を近似する。 後部の期待するワッサーシュタイン距離と等しいような制限された結合の集合を持つ条件付きワッサーシュタイン距離を導入する。
  論文  参考訳（メタデータ） (2023-10-20T11:46:05Z)
• PAC-Bayesian Generalization Bounds for Adversarial Generative Models [2.828173677501078]
  We developed generalization bounds for model based on the Wasserstein distance and the total variation distance。 我々の結果はワッサースタイン GAN とエネルギーベース GAN に自然に適用され、これらの2つの領域に新たなトレーニング目標が提供される。
  論文  参考訳（メタデータ） (2023-02-17T15:25:49Z)
• Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
  ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。 リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。 本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
  論文  参考訳（メタデータ） (2022-04-02T11:57:52Z)
• Training Wasserstein GANs without gradient penalties [4.0489350374378645]
  本稿では,Wasserstein生成逆数ネットワークを訓練するための安定な手法を提案する。 我々は,このアルゴリズムが判別器のリプシッツ制約を効果的に適用できることを実験的に示す。 我々の手法は勾配のペナルティを必要とせず、他の方法よりも計算効率が良い。
  論文  参考訳（メタデータ） (2021-10-27T03:46:13Z)
• On the expressivity of bi-Lipschitz normalizing flows [49.92565116246822]
  可逆函数 (invertible function) は、函数とその逆函数が有界リプシッツ定数を持つとき、ビ・リプシッツ (bi-Lipschitz) である。 ほとんどの正規化フローは、設計または数値誤差を制限するための訓練によってバイリプシッツである。
  論文  参考訳（メタデータ） (2021-07-15T10:13:46Z)
• On Projection Robust Optimal Transport: Sample Complexity and Model Misspecification [101.0377583883137]
  射影ロバスト(PR)OTは、2つの測度の間のOTコストを最大化するために、射影可能な$k$次元部分空間を選択する。 私たちの最初の貢献は、PRワッサーシュタイン距離のいくつかの基本的な統計的性質を確立することである。 次に、部分空間を最適化するのではなく平均化することにより、PRW距離の代替として積分PRワッサーシュタイン距離(IPRW)を提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:35:33Z)
• Projection Robust Wasserstein Distance and Riemannian Optimization [107.93250306339694]
  プロジェクション・ソリッドスタイン(PRW)は、ワッサーシュタイン・プロジェクション(WPP)のロバストな変種であることを示す。 本稿では,PRW距離の計算への第一歩として,その理論と実データに関する実験の関連について述べる。
  論文  参考訳（メタデータ） (2020-06-12T20:40:22Z)
• Achieving robustness in classification using optimal transport with hinge regularization [7.780418853571034]
  最適輸送に基づく二項分類のための新しいフレームワークを提案する。 我々は、ワッサーシュタイン距離推定のためのカントロビッチ・ルビンシュタイン双対定式化のヒンジ正規化版である新しい損失を用いて1-Lipschitzネットワークを学習する。
  論文  参考訳（メタデータ） (2020-06-11T15:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。