論文の概要: Kantorovich Strikes Back! Wasserstein GANs are not Optimal Transport?
- arxiv url: http://arxiv.org/abs/2206.07767v1
- Date: Wed, 15 Jun 2022 19:07:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-17 15:52:02.304433
- Title: Kantorovich Strikes Back! Wasserstein GANs are not Optimal Transport?
- Title(参考訳): Kantorovich Strikes Back!
Wasserstein GANは最適輸送ではないのか?
- Authors: Alexander Korotin, Alexander Kolesov, Evgeny Burnaev
- Abstract要約: Wasserstein Generative Adversarial Networks (WGANs) は、最適輸送(OT)理論とカントロビッチ双対性に基づく一般的な生成モデルである。
WGANの成功にもかかわらず、基礎となるOT双対解器が、発生器の更新に必要なOTコスト(Wasserstein-1 距離、$mathbbW_1$)とOT勾配をどの程度よく近似するかは、まだ不明である。
我々は1-Lipschitz関数を構築し、それらを光モノトン輸送計画の構築に用いる。この戦略は、解析的に知られたOT計画、OTコスト、OTと連続ベンチマーク分布のペアを生成する。
- 参考スコア(独自算出の注目度): 138.1080446991979
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Wasserstein Generative Adversarial Networks (WGANs) are the popular
generative models built on the theory of Optimal Transport (OT) and the
Kantorovich duality. Despite the success of WGANs, it is still unclear how well
the underlying OT dual solvers approximate the OT cost (Wasserstein-1 distance,
$\mathbb{W}_{1}$) and the OT gradient needed to update the generator. In this
paper, we address these questions. We construct 1-Lipschitz functions and use
them to build ray monotone transport plans. This strategy yields pairs of
continuous benchmark distributions with the analytically known OT plan, OT cost
and OT gradient in high-dimensional spaces such as spaces of images. We
thoroughly evaluate popular WGAN dual form solvers (gradient penalty, spectral
normalization, entropic regularization, etc.) using these benchmark pairs. Even
though these solvers perform well in WGANs, none of them faithfully compute
$\mathbb{W}_{1}$ in high dimensions. Nevertheless, many provide a meaningful
approximation of the OT gradient. These observations suggest that these solvers
should not be treated as good estimators of $\mathbb{W}_{1}$, but to some
extent they indeed can be used in variational problems requiring the
minimization of $\mathbb{W}_{1}$.
- Abstract(参考訳): Wasserstein Generative Adversarial Networks (WGANs) は、最適輸送(OT)理論とカントロビッチ双対性に基づく一般的な生成モデルである。
WGANsの成功にもかかわらず、基礎となるOT双対解器がOTコスト(Wasserstein-1 距離、$\mathbb{W}_{1}$)とジェネレータの更新に必要なOT勾配をどの程度よく近似するかはいまだ不明である。
本稿ではこれらの問題に対処する。
1-リプシッツ関数を構築し、レイモノトン輸送計画を構築する。
この戦略は、画像空間のような高次元空間における解析的に知られたOT計画、OTコスト、OT勾配と連続ベンチマーク分布のペアを生成する。
これらのベンチマークペアを用いて、一般的なWGAN双対形式解法(漸次ペナルティ、スペクトル正規化、エントロピー正規化等)を徹底的に評価した。
これらの解法は WGAN においてよく機能するが、いずれも高次元の$\mathbb{W}_{1}$を忠実に計算するものではない。
それでも、多くのものはOT勾配の有意義な近似を与える。
これらの観測は、これらのソルバを$\mathbb{W}_{1}$のよい推定子として扱うべきではないことを示唆するが、ある程度は$\mathbb{W}_{1}$の最小化を必要とする変分問題で実際に使用できる。
関連論文リスト
- Normalizing flows as approximations of optimal transport maps via
linear-control neural ODEs [55.2480439325792]
ニューマライズフロー」は、深層ニューラルネットワークを用いて確率測度間の可逆輸送マップを構築するタスクに関連している。
我々は、絶対連続測度$mu,nuinmathcalP(mathbbRn)$間の$W$最適輸送マップ$T$を線形制御ニューラルネットワークのフローとして回収する問題を考える。
論文 参考訳(メタデータ) (2023-11-02T17:17:03Z) - A Specialized Semismooth Newton Method for Kernel-Based Optimal
Transport [92.96250725599958]
カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。
SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
論文 参考訳(メタデータ) (2023-10-21T18:48:45Z) - Unbalanced Low-rank Optimal Transport Solvers [38.79369155558385]
線形OT問題とFused-Gromov-Wasserstein一般化のための拡張を実装するアルゴリズムを提案する。
本研究の目的は, これら2つの系統を融合して, 汎用・スカラー・アンバランス・低ランクOTソルバの約束を実現することである。
論文 参考訳(メタデータ) (2023-05-31T10:39:51Z) - Robust Estimation under the Wasserstein Distance [28.792608997509376]
出力分布から外周質量が$varepsilon$を除去できる新しい外周ローバストワッサーシュタイン距離$mathsfW_pvarepsilon$を導入する。
我々は,$mathsfW_pvarepsilon$で最小距離推定を行うことで,最小限のロバスト推定リスクが得られることを示した。
論文 参考訳(メタデータ) (2023-02-02T17:20:25Z) - Sparsity-Constrained Optimal Transport [27.76137474217754]
正規化された最適輸送は、ニューラルネットワークの損失層やマッチング層として、ますます利用されている。
本稿では,交通計画に明示的な基数制約を課したOTに対する新しいアプローチを提案する。
本手法は,非正規化OT($k$の場合)と二次正規化OT($k$が十分に大きい場合)の中間地盤と考えることができる。
論文 参考訳(メタデータ) (2022-09-30T13:39:47Z) - Provably Efficient Offline Reinforcement Learning with Trajectory-Wise
Reward [66.81579829897392]
我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。
PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。
私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
論文 参考訳(メタデータ) (2022-06-13T19:11:22Z) - On Unbalanced Optimal Transport: Gradient Methods, Sparsity and
Approximation Error [18.19398247972205]
我々は、少なくとも$n$の成分を持つ、おそらく異なる質量の2つの測度の間の不均衡最適輸送(UOT)について研究する。
UOT問題に対する$varepsilon$-approximateの解を求めるために,GEM-UOT(Gradient Extrapolation Method)に基づく新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-08T03:22:39Z) - Generative Modeling with Optimal Transport Maps [83.59805931374197]
OT(Optimal Transport)は、大規模な生成モデリングタスクのための強力なツールとなっている。
OTマップ自体が生成モデルとして利用でき、同等の性能が得られることを示す。
論文 参考訳(メタデータ) (2021-10-06T18:17:02Z) - GO Hessian for Expectation-Based Objectives [73.06986780804269]
GOグラデーションは、最近予測に基づく目的に対して$mathbbE_q_boldsymboldsymboldsymbolgamma(boldsymboly) [f(boldsymboly)]$として提案された。
GO勾配に基づいて、$mathbbE_q_boldsymboldsymboldsymbolgamma(boldsymboly) [f(boldsymboly)]$ an unbiased low-variance Hessian estimator, named GO Hessian を示す。
論文 参考訳(メタデータ) (2020-06-16T02:20:41Z) - Tangent-Space Gradient Optimization of Tensor Network for Machine
Learning [0.8701566919381223]
ディープラーニングモデルの勾配に基づく最適化手法は、勾配の消滅と爆発的な問題に悩まされている。
本研究では,確率モデルに対するタンジェント空間勾配最適化(TSGO)を提案する。
数値計算の結果,市販のAdamと比較してTSGOの収束性は良好であった。
論文 参考訳(メタデータ) (2020-01-10T16:40:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。