論文の概要: Debiased Sinkhorn barycenters

• arxiv url: http://arxiv.org/abs/2006.02575v1
• Date: Wed, 3 Jun 2020 23:06:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 17:26:19.461519
• Title: Debiased Sinkhorn barycenters
• Title（参考訳）: Debiased Sinkhorn Barycenters
• Authors: Hicham Janati, Marco Cuturi, Alexandre Gramfort
• Abstract要約: 最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。 このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。 両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
• 参考スコア（独自算出の注目度）: 110.79706180350507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Entropy regularization in optimal transport (OT) has been the driver of many recent interests for Wasserstein metrics and barycenters in machine learning. It allows to keep the appealing geometrical properties of the unregularized Wasserstein distance while having a significantly lower complexity thanks to Sinkhorn's algorithm. However, entropy brings some inherent smoothing bias, resulting for example in blurred barycenters. This side effect has prompted an increasing temptation in the community to settle for a slower algorithm such as log-domain stabilized Sinkhorn which breaks the parallel structure that can be leveraged on GPUs, or even go back to unregularized OT. Here we show how this bias is tightly linked to the reference measure that defines the entropy regularizer and propose debiased Wasserstein barycenters that preserve the best of both worlds: fast Sinkhorn-like iterations without entropy smoothing. Theoretically, we prove that the entropic OT barycenter of univariate Gaussians is a Gaussian and quantify its variance bias. This result is obtained by extending the differentiability and convexity of entropic OT to sub-Gaussian measures with unbounded supports. Empirically, we illustrate the reduced blurring and the computational advantage on various applications.
• Abstract（参考訳）: 最適輸送におけるエントロピー正則化(ot)は、機械学習におけるwassersteinメトリクスやbarycentersの最近の関心の原動力となっている。 これにより、非正規化されたワッサースタイン距離の幾何学的性質を保ちつつ、シンクホーンのアルゴリズムのおかげで複雑さが著しく低下する。 しかし、エントロピーは固有の滑らかなバイアスをもたらし、例えばぼやけたバリセンタで生じる。 この副作用は、GPUで活用できる並列構造を壊したり、あるいは非正規化OTに戻すといった、ログドメイン安定化Sinkhornのような遅いアルゴリズムをコミュニティで定着させる誘惑を喚起している。 ここでは、このバイアスがエントロピー正則化を定義する基準測度と密に結びついていることを示すとともに、両世界の最善を保った偏りのあるwasserstein barycenterを提案する。 理論的には、単変数ガウス群のエントロピックOTバリ中心がガウス的であり、その分散バイアスを定量化する。 この結果は、エントロピーotの微分可能性と凸性を非有界台を持つ準ゲージ測度に拡張することによって得られる。 経験的に、様々なアプリケーションにおけるぼやけの低減と計算上の優位性を示す。

関連論文リスト

• Semi-Discrete Optimal Transport: Nearly Minimax Estimation With Stochastic Gradient Descent and Adaptive Entropic Regularization [38.67914746910537]
  我々は,ラゲールセル推定と密度支持推定の類似性を用いて,OTマップに対して$mathcalO(t-1)$の低いバウンダリレートを証明した。 所望の速さをほぼ達成するために,サンプル数に応じて減少するエントロピー正規化スキームを設計する。
  論文  参考訳（メタデータ） (2024-05-23T11:46:03Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Solving High Frequency and Multi-Scale PDEs with Gaussian Processes [18.190228010565367]
  PINNは、しばしば高周波およびマルチスケールのPDEを解決するのに苦労する。 我々はこの問題を解決するためにガウス過程(GP)フレームワークを利用する。 我々はKroneckerの製品特性と多線型代数を用いて計算効率とスケーラビリティを向上する。
  論文  参考訳（メタデータ） (2023-11-08T05:26:58Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Computational Guarantees for Doubly Entropic Wasserstein Barycenters via Damped Sinkhorn Iterations [0.0]
  本稿では,2つの正規化ワッサースタイン・バリセンタの計算アルゴリズムを提案し,解析する。 近似モンテカルロサンプリングを用いて実装可能なアルゴリズムの不正確な変種は、最初の漸近収束保証を提供する。
  論文  参考訳（メタデータ） (2023-07-25T09:42:31Z)
• Doubly Regularized Entropic Wasserstein Barycenters [0.0]
  本稿では, 正則性, 近似, 安定性, および(グリッドフリー)最適化特性を有する正則化ワッサーシュタインバリセンタの一般定式化について検討する。
  論文  参考訳（メタデータ） (2023-03-21T13:42:43Z)
• Robust computation of optimal transport by $\beta$-potential regularization [79.24513412588745]
  最適輸送(OT)は、確率分布間の差を測定する機械学習分野で広く使われているツールである。 我々は、いわゆる$beta$-divergenceに付随するベータポテンシャル項でOTを正規化することを提案する。 提案アルゴリズムで計算した輸送行列は,外乱が存在する場合でも確率分布を頑健に推定するのに役立つことを実験的に実証した。
  論文  参考訳（メタデータ） (2022-12-26T18:37:28Z)
• Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence [69.65563161962245]
  ニュートン法を用いて,滑らかで強凸な目的関数を考える。 最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
  論文  参考訳（メタデータ） (2022-04-20T07:14:21Z)
• Estimating 2-Sinkhorn Divergence between Gaussian Processes from Finite-Dimensional Marginals [4.416484585765028]
  エルフガウス過程 (GP) 間の2-シンクホーンの偏差を有限次元の辺分布を用いて推定する収束性について検討する。 境界値が基底値に従ってサンプリングされた場合, ほぼ確実に発散の収束を示す。
  論文  参考訳（メタデータ） (2021-02-05T16:17:55Z)
• Sinkhorn Barycenter via Functional Gradient Descent [125.89871274202439]
  我々はシンクホーン発散の下で確率分布の集合のバリ中心を計算することの問題を考察する。 この問題は最近、グラフィックス、学習、ビジョンなど、さまざまな領域にまたがるアプリケーションを見つけました。 Sinkhorn Descent という関数勾配降下法を開発した。
  論文  参考訳（メタデータ） (2020-07-20T20:16:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。