論文の概要: Kantorovich Strikes Back! Wasserstein GANs are not Optimal Transport?

• arxiv url: http://arxiv.org/abs/2206.07767v1
• Date: Wed, 15 Jun 2022 19:07:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 15:52:02.304433
• Title: Kantorovich Strikes Back! Wasserstein GANs are not Optimal Transport?
• Title（参考訳）: Kantorovich Strikes Back! Wasserstein GANは最適輸送ではないのか?
• Authors: Alexander Korotin, Alexander Kolesov, Evgeny Burnaev
• Abstract要約: Wasserstein Generative Adversarial Networks (WGANs) は、最適輸送(OT)理論とカントロビッチ双対性に基づく一般的な生成モデルである。 WGANの成功にもかかわらず、基礎となるOT双対解器が、発生器の更新に必要なOTコスト(Wasserstein-1 距離、$mathbbW_1$)とOT勾配をどの程度よく近似するかは、まだ不明である。 我々は1-Lipschitz関数を構築し、それらを光モノトン輸送計画の構築に用いる。この戦略は、解析的に知られたOT計画、OTコスト、OTと連続ベンチマーク分布のペアを生成する。
• 参考スコア（独自算出の注目度）: 138.1080446991979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wasserstein Generative Adversarial Networks (WGANs) are the popular generative models built on the theory of Optimal Transport (OT) and the Kantorovich duality. Despite the success of WGANs, it is still unclear how well the underlying OT dual solvers approximate the OT cost (Wasserstein-1 distance, $\mathbb{W}_{1}$) and the OT gradient needed to update the generator. In this paper, we address these questions. We construct 1-Lipschitz functions and use them to build ray monotone transport plans. This strategy yields pairs of continuous benchmark distributions with the analytically known OT plan, OT cost and OT gradient in high-dimensional spaces such as spaces of images. We thoroughly evaluate popular WGAN dual form solvers (gradient penalty, spectral normalization, entropic regularization, etc.) using these benchmark pairs. Even though these solvers perform well in WGANs, none of them faithfully compute $\mathbb{W}_{1}$ in high dimensions. Nevertheless, many provide a meaningful approximation of the OT gradient. These observations suggest that these solvers should not be treated as good estimators of $\mathbb{W}_{1}$, but to some extent they indeed can be used in variational problems requiring the minimization of $\mathbb{W}_{1}$.
• Abstract（参考訳）: Wasserstein Generative Adversarial Networks (WGANs) は、最適輸送(OT)理論とカントロビッチ双対性に基づく一般的な生成モデルである。 WGANsの成功にもかかわらず、基礎となるOT双対解器がOTコスト(Wasserstein-1 距離、$\mathbb{W}_{1}$)とジェネレータの更新に必要なOT勾配をどの程度よく近似するかはいまだ不明である。 本稿ではこれらの問題に対処する。 1-リプシッツ関数を構築し、レイモノトン輸送計画を構築する。 この戦略は、画像空間のような高次元空間における解析的に知られたOT計画、OTコスト、OT勾配と連続ベンチマーク分布のペアを生成する。 これらのベンチマークペアを用いて、一般的なWGAN双対形式解法(漸次ペナルティ、スペクトル正規化、エントロピー正規化等)を徹底的に評価した。 これらの解法は WGAN においてよく機能するが、いずれも高次元の$\mathbb{W}_{1}$を忠実に計算するものではない。 それでも、多くのものはOT勾配の有意義な近似を与える。 これらの観測は、これらのソルバを$\mathbb{W}_{1}$のよい推定子として扱うべきではないことを示唆するが、ある程度は$\mathbb{W}_{1}$の最小化を必要とする変分問題で実際に使用できる。

関連論文リスト

• Fast and scalable Wasserstein-1 neural optimal transport solver for single-cell perturbation prediction [55.89763969583124]
  最適輸送理論はそのような写像を構築するための原則化された枠組みを提供する。 本稿では,Wasserstein-1に基づく新しい最適輸送解法を提案する。 実験により,提案した解法は,2次元データセット上に一意かつ単調な写像を求める際に,$W$ OTソルバを模倣できることを示した。
  論文  参考訳（メタデータ） (2024-11-01T14:23:19Z)
• Semi-Discrete Optimal Transport: Nearly Minimax Estimation With Stochastic Gradient Descent and Adaptive Entropic Regularization [38.67914746910537]
  我々は,ラゲールセル推定と密度支持推定の類似性を用いて,OTマップに対して$mathcalO(t-1)$の低いバウンダリレートを証明した。 所望の速さをほぼ達成するために,サンプル数に応じて減少するエントロピー正規化スキームを設計する。
  論文  参考訳（メタデータ） (2024-05-23T11:46:03Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Unbalanced Low-rank Optimal Transport Solvers [38.79369155558385]
  線形OT問題とFused-Gromov-Wasserstein一般化のための拡張を実装するアルゴリズムを提案する。 本研究の目的は, これら2つの系統を融合して, 汎用・スカラー・アンバランス・低ランクOTソルバの約束を実現することである。
  論文  参考訳（メタデータ） (2023-05-31T10:39:51Z)
• Sparsity-Constrained Optimal Transport [27.76137474217754]
  正規化された最適輸送は、ニューラルネットワークの損失層やマッチング層として、ますます利用されている。 本稿では,交通計画に明示的な基数制約を課したOTに対する新しいアプローチを提案する。 本手法は,非正規化OT($k$の場合)と二次正規化OT($k$が十分に大きい場合)の中間地盤と考えることができる。
  論文  参考訳（メタデータ） (2022-09-30T13:39:47Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• On Unbalanced Optimal Transport: Gradient Methods, Sparsity and Approximation Error [18.19398247972205]
  我々は、少なくとも$n$の成分を持つ、おそらく異なる質量の2つの測度の間の不均衡最適輸送(UOT)について研究する。 UOT問題に対する$varepsilon$-approximateの解を求めるために,GEM-UOT(Gradient Extrapolation Method)に基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-08T03:22:39Z)
• Generative Modeling with Optimal Transport Maps [83.59805931374197]
  OT(Optimal Transport)は、大規模な生成モデリングタスクのための強力なツールとなっている。 OTマップ自体が生成モデルとして利用でき、同等の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T18:17:02Z)
• GO Hessian for Expectation-Based Objectives [73.06986780804269]
  GOグラデーションは、最近予測に基づく目的に対して$mathbbE_q_boldsymboldsymboldsymbolgamma(boldsymboly) [f(boldsymboly)]$として提案された。 GO勾配に基づいて、$mathbbE_q_boldsymboldsymboldsymbolgamma(boldsymboly) [f(boldsymboly)]$ an unbiased low-variance Hessian estimator, named GO Hessian を示す。
  論文  参考訳（メタデータ） (2020-06-16T02:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。